[논문 리뷰] Mixture regression for observational data, with application to functional regression models

Toshiya Hoshikawa|arXiv (Cornell University)|2013. 06. 30.

Bayesian Methods and Mixture Models참고 문헌 19인용 수 9

한 줄 요약

이 논문은 반응과 공변량 분포를 유한 혼합으로 함께 모델링하여 공변량으로부터 군집 소속의 사후 확률 추정을 가능하게 하는 공동 혼합 회귀 모델을 제안한다. 기존 혼합 회귀 모델과 달리, 공변량 이질성을 통합하여 새로운 공변량 값에 적응하기 위해 군집별 사후 확률을 활용함으로써 예측 정확도를 향상시킨다. 기능적 및 다변량 데이터, 특히 버클리 성장 연구에서의 성능이 뛰어나다는 게 입증되었다.

ABSTRACT

In a regression analysis, suppose we suspect that there are several heterogeneous groups in the population that a sample represents. Mixture regression models have been applied to address such problems. By modeling the conditional distribution of the response given the covariate as a mixture, the sample can be clustered into groups and the individual regression models for the groups can be estimated simultaneously. This approach treats the covariate as deterministic so that the covariate carries no information as to which group the subject is likely to belong to. Although this assumption may be reasonable in experiments where the covariate is completely determined by the experimenter, in observational data the covariate may behave differently across the groups. Thus the model should also incorporate the heterogeneity of the covariate, which allows us to estimate the membership of the subject from the covariate. In this paper, we consider a mixture regression model where the joint distribution of the response and the covariate is modeled as a mixture. Given a new observation of the covariate, this approach allows us to compute the posterior probabilities that the subject belongs to each group. Using these posterior probabilities, the prediction of the response can adaptively use the covariate. We introduce an inference procedure for this approach and show its properties concerning estimation and prediction. The model is explored for the functional covariate as well as the multivariate covariate. We present a real-data example where our approach outperforms the traditional approach, using the well-analyzed Berkeley growth study data.

연구 동기 및 목표

• 공변량을 결정론적으로 취급하고 군집 간 공변량 이질성을 忽시하는 전통적 혼합 회귀 모델의 한계를 해결하기 위해.
• 반응 및 공변량 분포를 모두 혼합으로 모델링하는 공동 혼합 모델을 개발하여, 군집 소속의 사후 확률 추정을 가능하게 하기 위해.
• 관찰 데이터에서 공변량 정보를 활용하여 군집별 회귀 모델에 적응적으로 가중치를 적용함으로써 예측 성능을 향상시키기 위해.
• 기능적 데이터 설정으로의 프레임워크 확장을 위해, 공변량 행동이 군집 간으로 다양해지는 경우를 고려하기 위해.

제안 방법

• 반응 Y와 공변량 X의 공동 밀도를 유한 혼합으로 모델링: f(Y,X|δk=1) = φ(Y; αk + βkᵀX, σk²)φ(X; μk, Σk), 군집별 공변량 분포를 允許.
• 매개수 추정을 위해 EM 알고리즘을 사용하며, E단계에서는 현재 매개수 추정치를 바탕으로 사후 소속 확률 τik을 계산.
• M단계에서는 가중 최소제곱법과 모멘트 추정법을 사용하여 군집 가중치 πk, 회귀 계수 βk, 오차 분산 σk², 군집별 공변량 평균 μk 및 공분산 Σk를 갱신.
• 다변량 및 기능적 공변량에 모두 적용되며, 기능적 데이터는 기저 전개 및 스무딩을 통해 처리.
• EM 알고리즘의 수치적 안정성과 수렴성을 향상시키기 위해 재매개수화(reparameterization) 도입.
• 군집 수 K 선택을 위해 AIC 및 BIC와 같은 정보 기준 사용.

실험 결과

연구 질문

• RQ1 혼합 회귀 프레임워크 내에서 반응 및 공변량 분포를 공동으로 모델링하는 것이, 전통적 방법에 비해 관찰 데이터에서 예측 정확도를 향상시키는가?
• RQ2 군집 간 공변량 이질성을 통합할 경우, 사후 소속 확률 추정 및 예측 성능에 어떤 영향을 미치는가?
• RQ3 새로운 관측치에 대한 군집 소속이 알려지지 않은 경우, 제안된 공동 혼합 모델이 표준 혼합 회귀보다 성능이 뛰어나다고 할 수 있는가?
• RQ4 예측 정확도를 유지하면서 기능적 공변량을 다룰 수 있도록 모델을 얼마나 확장할 수 있는가?
• RQ5 실제 기능적 데이터, 예를 들어 버클리 성장 연구에서 모델 성능은 어떠한가?

주요 결과

• 제안된 공동 혼합 회귀 모델은 새로운 관측치의 군집 소속이 알려지지 않은 경우, 공변량 정보를 활용해 적응적인 사후 확률을 계산함으로써 기존 혼합 회귀 모델보다 예측 성능이 뚜렷이 향상됨.
• 버클리 성장 연구 데이터에서, 공동 모델은 표준 선형 회귀 및 기존 혼합 회귀보다 낮은 예측 오차를 기록하여 실용적 이점을 입증함.
• 공변량 분포를 군집 간으로 다양하게 허용함으로써, 성장 곡선과 같은 기능적 공변량의 군집별 패턴을 성공적으로 포착함.
• 시뮬레이션 연구를 통해 EM 알고리즘이 공동 모델 하에서 안정적으로 수렴하고 일관된 매개수 추정치를 산출함을 확인함.
• 공변량 이질성의 포함은 더 정확한 사후 소속 확률을 도출하며, 이는 적절한 가중치를 부여함으로써 예측 성능 향상에 기여함.
• 시뮬레이션 실험을 통해 BIC를 사용한 모델 선택에서 군집 수의 잘못된 특정화에 대해 모델이 강인함을 입증함.