[논문 리뷰] Semiparametric Mixtures of Regressions with Single-index for Model Based Clustering

Sijia Xiang, Weixin Yao|arXiv (Cornell University)|2017. 08. 11.

Bayesian Methods and Mixture Models참고 문헌 21인용 수 4

한 줄 요약

이 논문은 단일색인 구조를 통해 고차원 예측 변수 효과를 감소시켜 비모수적 모델링에서 차원의 극복 문제를 해결하는 두 가지 반모수적 혼합 회귀 모델—혼합 단일색인 모델(MSIM)과 비정상 단일색인 비율을 가진 혼합 회귀 모델(MRSIP)—을 제안한다. 이 방법은 수정된 EM 알고리즘과 백피팅을 사용하여 최적의 수렴 속도를 달성하며, 시뮬레이션 및 NBA 데이터에서 특히 고차원 설정에서 뛰어난 클러스터링 및 예측 성능을 보여준다.

ABSTRACT

In this article, we propose two classes of semiparametric mixture regression models with single-index for model based clustering. Unlike many semiparametric/nonparametric mixture regression models that can only be applied to low dimensional predictors, the new semiparametric models can easily incorporate high dimensional predictors into the nonparametric components. The proposed models are very general, and many of the recently proposed semiparametric/nonparametric mixture regression models are indeed special cases of the new models. Backfitting estimates and the corresponding modified EM algorithms are proposed to achieve optimal convergence rates for both parametric and nonparametric parts. We establish the identifiability results of the proposed two models and investigate the asymptotic properties of the proposed estimation procedures. Simulation studies are conducted to demonstrate the finite sample performance of the proposed models. An application of NBA data by new models reveals some new findings.

연구 동기 및 목표

• 예측 변수가 고차원일 때 반모수적/비모수적 혼합 회귀 모델에서 차원의 극복 문제를 해결하기 위해.
• 기존 혼합 회귀 모델의 강력한 모수적 가정을 완화하면서도 해석 가능성을 유지하는 유연한 반모수적 모델을 개발하기 위해.
• 단일색인 구조를 사용하여 구성 요소 평균, 분산 및 비율의 비모수적 추정을 가능하게 하여 차원 감소를 달성하기 위해.
• 약한 규칙성 조건 하에서 제안된 모델의 식별성과 점근적 성질을 확립하기 위해.
• 시뮬레이션과 실제 NBA 데이터 분석을 통해 개선된 클러스터링 및 예측 성능을 입증하기 위해.

제안 방법

• 혼합 단일색인 모델(MSIM)을 제안: $ Y|\mathbf{x} \sim \sum_{j=1}^{k} \pi_j(\mathbf{\alpha}^T\mathbf{x}) \phi(Y_i | m_j(\mathbf{\alpha}^T\mathbf{x}), \sigma_j^2(\mathbf{\alpha}^T\mathbf{x})) $, 여기서 색인 $ \mathbf{\alpha}^T\mathbf{x} $ 는 고차원 비모수적 추정을 단변량 스무딩으로 감소시킨다.
• 비정상 단일색인 비율을 가진 혼합 회귀 모델(MRSIP)을 제안: $ Y|\mathbf{x} \sim \sum_{j=1}^{k} \pi_j(\mathbf{\alpha}^T\mathbf{x}) \phi(Y_i | \mathbf{x}^T\mathbf{\beta}_j, \sigma_j^2) $, 구성 요소 비율을 단일 색인을 통해 비모수적으로 모델링하면서도 회귀 함수는 선형으로 유지한다.
• 모수적(예: $ \mathbf{\beta}_j $) 및 비모수적(예: $ m_j(\cdot), \pi_j(\cdot) $) 성분을 동시에 추정하기 위해 수정된 EM 알고리즘과 백피팅을 개발하여 최적의 수렴 속도를 달성한다.
• 단일 색인을 따라 비모수적 추정을 위해 커널 회귀를 사용하여 다변량 커널 스무딩을 직접 피하는 방법을 적용한다.
• 대역폭 선택 및 모델 비교를 위해 교차검증을 적용하며, 실제 데이터 평가에서는 몬테카를로 교차검증을 사용한다.
• 약한 규칙성 조건 하에서 두 모델의 식별성을 확립하고 추정기의 점근적 성질을 유도한다.

실험 결과

연구 질문

• RQ1 단일색인 구조가 고차원 예측 변수에 대해 비모수적 혼합 회귀 모델의 차원 감소에 효과적으로 기여할 수 있는가?
• RQ2 제안된 MSIM 및 MRSIP 모델이 전통적인 모수적 및 반모수적 혼합 모델보다 클러스터링 및 예측 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ3 수정된 EM 알고리즘과 백피팅이 이러한 모델에서 모수적 및 비모수적 성분에 대해 최적의 수렴 속도를 달성할 수 있는가?
• RQ4 약한 규칙성 조건 하에서 제안된 모델는 식별 가능한가? 그리고 그 추정기의 점근적 성질은 무엇인가?
• RQ5 실제 응용, 예를 들어 고차원 예측 변수를 가진 NBA 선수 성과의 클러스터링에서 모델은 어떻게 성능을 발휘하는가?

주요 결과

• 시뮬레이션 연구에서 MRSIP(S)와 MRSIP(T)는 MixLinReg에 비해 단일색인 모수 추정치에 대해 유의미하게 낮은 평균제곱오차(MSE)를 기록했으며, n=800일 때 MSE는 각각 0.892, 0.979, 0.969였고, MixLinReg는 MSE 28.04를 기록했다.
• 구성 요소 비율에 대한 RASE(상대 평균제곱오차)는 n=800일 때 MRSIP(T)가 9.960이었고, MixLinReg는 28.04였으며, 이는 비율 추정에서 상당한 향상을 보임을 시사한다.
• NBA 데이터 분석에서 MSIM 모델은 MPG(경기당 미니터)가 가장 영향력 있는 예측 변수로 규명되었으며, $ \mathbf{\alpha} $에 대한 95% 신뢰구간은 (0.134, 0.541), (0.715, 0.949), (0.202, 0.679)를 포함하여 경기당 점수에 대한 강력한 영향을 미친다고 시사한다.
• 5중, 10중 및 몬테카를로 교차검증에서 MSIM 및 MRSIP는 선형 회귀 및 혼합 선형 회귀 모델에 비해 뛰어난 예측 정확도를 보였으며, 예측 오차에서는 MSIM이 MRSIP를 능가했다.
• 이 두 모델는 기존 모델의 일반화이다: k=1일 때 MSIM은 단일색인 모델로 축소되며, x가 스칼라일 경우 Huang 등(2013)의 비모수적 혼합 모델로 축소된다.
• 제안된 모델는 약한 규칙성 조건 하에서 식별 가능하며, 수정된 EM 알고리즘과 백피팅은 모수적 및 비모수적 성분 양쪽에 대해 최적의 수렴 속도를 달성한다.