[논문 리뷰] Semiparametric Mixture Regression with Unspecified Error Distributions

Yanyuan Ma, Shaoli Wang외 2명|arXiv (Cornell University)|2018. 11. 02.

Bayesian Methods and Mixture Models참고 문헌 15인용 수 4

한 줄 요약

이 논문은 오차 분포에 대한 정규성 가정을 완화하기 위해 구성 요소 오차 밀도를 특정하지 않은 반모수적 혼합 선형 회귀 모형을 제안한다. 커널 밀도 추정 기반의 EM 알고리즘을 사용하여 일致 추정과 점근 정규성을 달성하며, 비정규 오차 하에서 기존의 최대우도추정법(MLE)보다 유의미하게 뛰어난 성능을 보이며, 정규성 하에서도 유사한 성능을 유지한다. 시뮬레이션과 실제 말 바이러스 부하 데이터셋을 통해 이를 입증하였다.

ABSTRACT

In fitting a mixture of linear regression models, normal assumption is traditionally used to model the error and then regression parameters are estimated by the maximum likelihood estimators (MLE). This procedure is not valid if the normal assumption is violated. To relax the normal assumption on the error distribution hence reduce the modeling bias, we propose semiparametric mixture of linear regression models with unspecified error distributions. We establish a more general identifiability result under weaker conditions than existing results, construct a class of new estimators, and establish their asymptotic properties. These asymptotic results also apply to many existing semiparametric mixture regression estimators whose asymptotic properties have remained unknown due to the inherent difficulties in obtaining them. Using simulation studies, we demonstrate the superiority of the proposed estimators over the MLE when the normal error assumption is violated and the comparability when the error is normal. Analysis of a newly collected Equine Infectious Anemia Virus data in 2017 is employed to illustrate the usefulness of the new estimator.

연구 동기 및 목표

• 기존 혼합 회귀 모형에서 정규 오차를 가정함으로써 발생하는 모형 편향 문제를 해결하기 위해.
• 특정되지 않은 오차 밀도를 允허하면서도 식별성과 점근적 성질을 유지하는 반모수적 추정기법을 개발하기 위해.
• 기존 방법보다 더 약한 조건에서도 제안된 추정기의 일관성과 점근 정규성을 확립하기 위해.
• 오차가 정규성에서 벗어날 경우 유한 표본에서 분류 정확도 향상과 강건성 향상을 입증하기 위해.
• 모수적 MLE에 대한 이론적으로 탄탄한 유연한 대안을 혼합 회귀 설정에서 제공하기 위해.

제안 방법

• 구성 요소 오차 밀도를 특정하지 않은 반모수적 혼합 선형 회귀 모형을 제안하며, 평균이 0이고 분산이 1인 일반 밀도 함수 g로 정규 밀도를 대체한다.
• 재귀적으로 회귀 매개수 θ를 추정하고, 커널 밀도 추정을 통해 오차 밀도 g를 비모수적으로 추정하는 반모수적 EM 알고리즘을 도입한다.
• 오차 밀도에 대한 커널 밀도 추정기법을 사용하며, 스무드함과 일관성을 확보하기 위해 교차검증을 통해 밴드위드를 선택한다.
• 비동일한 척도 매개수 τj와 임의의 구성 요소 밀도 g_j를 가진 일반 조건 하에서도 모형의 식별성을 확립한다.
• 제안된 추정기의 점근 분포를 도출하여, 정규 조건 하에서 일관성과 점근 정규성을 입증한다.
• 분류 성능 평가를 위해 실제 데이터에 적용하며, 이전의 한 개를 제외한 교차검증을 사용한다.

실험 결과

연구 질문

• RQ1 특정되지 않은 오차 밀도를 가진 반모수적 혼합 회귀 모형이 정규성 가정 없이도 일관된 추정을 달성할 수 있는가?
• RQ2 일반적인 반모수적 혼합 회귀 프레임워크에서 모형의 식별성을 확보하기 위한 최소한의 정규 조건는 무엇인가?
• RQ3 오차 분포가 비정규일 경우, 제안된 추정기의 성능은 MLE보다 어떻게 다를까?
• RQ4 제안된 방법은 기존 MLE 대비 분류 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 제안된 추정기의 점근 이론은 이전에 점근적 성질이 입증되지 않은 많은 기존 반모수적 혼합 회귀 추정기 적용 가능할 수 있는가?

주요 결과

• 제안된 KDEEM 추정기는 EIAV 데이터셋에서 MLEEM의 93.33%에 비해 100%의 정확한 분류 비율(CCP)을 달성하여 뛰어난 분류 성능을 입증하였다.
• 비정규 오차 분포 하에서의 시뮬레이션 연구에서 제안된 추정기는 MLE보다 유의미하게 뛰어난 성능을 보이며, 모형 편향을 감소시키고 추정 정확도를 향상시켰다.
• 오차가 실제로 정규일 경우에도 MLE와 유사한 성능을 유지하여 다양한 분포 가정 하에서도 강건함을 입증하였다.
• 이론적 결과는 이전의 식별성 결과보다 더 약한 조건 하에서도 제안된 추정기의 일관성과 점근 정규성을 입증하였다.
• 이 점근 이론은 이전에 점근적 성질이 입증되지 않은 많은 기존 반모수적 혼합 회귀 추정기 적용 가능하다.
• 커널 기반의 오차 밀도 추정은 모수적 가정 없이도 복잡한 오차 구조를 탄력적으로 모형화할 수 있었다.