[논문 리뷰] Model-based regression clustering for high-dimensional data. Application to functional data

Émilie Devijver|arXiv (Cornell University)|2014. 09. 04.

Bayesian Methods and Mixture Models참고 문헌 24인용 수 6

한 줄 요약

이 논문은 고차원 및 기능 데이터에 대해 Lasso를 통한 변수 선택과 랭크-벌점된 최대우도추정을 조합하여 희박성과 행렬 구조를 다루는 두 가지 모델 기반 회귀 군집화 절차를 제안한다. 비차원적 모델 선택을 위한 데이터 기반 모델 컬렉션과 기울기 히ュ리스틱을 도입함으로써, 성분 수와 희박 수준이 알려지지 않은 고차원 회귀 설정에서 정확한 군집화와 매개변수 추정이 가능해진다.

ABSTRACT

Finite mixture regression models are useful for modeling the relationship between response and predictors, arising from different subpopulations. In this article, we study high-dimensional predic- tors and high-dimensional response, and propose two procedures to deal with this issue. We propose to use the Lasso estimator to take into account the sparsity, and a penalty on the rank, to take into account the matrix structure. Then, we extend these procedures to the functional case, where predictors and responses are functions. For this purpose, we use a wavelet-based approach. Finally, for each situation, we provide algorithms, and apply and evaluate our methods both on simulations and real datasets.

연구 동기 및 목표

• 예측 변수와 반응 변수가 모두 고차원인 고차원 회귀 데이터에서 이질적인 회귀 관계 기반의 군집화가 필요하다는 문제를 해결하기 위해.
• 회귀 계수의 희박성과 계수 행렬의 저랭크 구조를 동시에 다룰 수 있는 통합된 모델 기반 회귀 군집화 프레임워크를 개발하기 위해.
• 기존의 Lasso-MLE 및 감소 랭크 회귀 방법을 성분 수와 변수 선택이 알려지지 않은 유한 혼합 모델로 확장하기 위해.
• 파형 데이터에 대해 웨이블릿 기반 표현을 사용하여 희박성을 유도하고 국소적 특징을 유지하기 위해.
• 성분 수, 희박 수준, 랭크를 동시에 결정할 수 있는 데이터 기반 비차원 기준(기울기 히ュ리스틱)을 사용한 모델 선택 절차를 제공하기 위해.

제안 방법

• 각 군집의 계수 행렬에 대해 성분 수 $K$, 정규화 파라미터 $\lambda$, 랭크 $R_k$ 를 변화시켜 모델 컬렉션을 구성한다.
• 그룹-Lasso 추정기를 사용하여 각 모델에서 관련 변수를 식별한다. 이는 그룹 계수에 대한 $\ell_1$-노름을 포함한 벌점된 로그우도를 최소화하는 방식으로 정의된다: $\hat{\theta}^{\text{Group-Lasso}} = \arg\min \left\{ -\frac{1}{n}\sum_{i=1}^n \log(h_\theta(y_i|x_i)) + \lambda \sum_{j=1}^p \sum_{m=1}^q \sqrt{K} \| [\boldsymbol{\Phi}]_{m,j} \|_2 \right\}$.
• 일반화된 EM 알고리즘을 사용하여 각 $K$ 및 $\lambda$에 대해 그룹-Lasso 추정기를 계산하며, 혼합 모수를 반복적으로 갱신한다.
• 편향을 줄이기 위해 선택된 변수에 대해 최대우도추정(MLE)을 통해 매개변수를 재적합하며, 두 번째 절차에서는 계수 행렬의 랭크에 제약 조건을 적용한다.
• 각 군집에 대해 랭크 제약 조건 $R_k$ 를 가진 모델의 부분 컬렉션을 구성하며, 절삭된 SVD를 사용하여 $\boldsymbol{\Phi}_k$ 에 저랭크 구조를 강제한다.
• Birgé와 Massart(2007)에서 제안한 기울기 히ュ리스틱을 사용하여 최종 모델을 선택한다. 이는 전체 모델 컬렉션에서 모델 선택을 위한 비차원 기준을 제공한다.

실험 결과

연구 질문

• RQ1 모델 기반 회귀 군집화는 고차원 예측 변수와 반응 변수에 대해 어떻게 확장될 수 있으며, 회귀 계수의 희박성을 어떻게 다룰 수 있는가?
• RQ2 변수 선택(Lasso를 통한)과 유한 혼합 회귀 모델에서의 저랭크 구조 추정을 통합한 프레임워크를 개발할 수 있는가?
• RQ3 성분 수, 희박 수준, 랭크를 동시에 데이터 기반 비차원 방식으로 어떻게 선택할 수 있는가?
• RQ4 제안된 절차는 기능 데이터에 대해 어떻게 성능을 발휘하는가? 그리고 웨이블릿 기반 표현은 이러한 데이터의 희박성을 효과적으로 유도할 수 있는가?
• RQ5 회귀 계수에 $\ell_1$ 및 랭크 제약 조건을 모두 적용한 벌점된 우도 접근법이 고차원 환경에서 군집화 정확도와 매개변수 추정에 어떤 영향을 미치는가?

주요 결과

• 제안된 Lasso-MLE 및 그룹-Lasso-랭크 절차는 매개변수 수가 표본 크기를 초과하는 경우에도 고차원 회귀 데이터에서 관련 변수와 군집 구조를 성공적으로 식별한다.
• EM 업데이트를 통한 정규화 파rameter $\lambda$ 의 데이터 기반 그리드 사용이 모델 공간의 효율적 탐색과 변수 선택의 안정성 향상에 기여한다.
• 기울기 히ュ리스틱은 모델 복잡도와 적합도의 균형을 맞추며, 모델 컬렉션 전체에서 최적의 모델을 선택하는 신뢰할 수 있는 비차원 기준을 제공한다.
• 웨이블릿 기반 기능 표현은 기능 데이터의 국소적 및 전역적 특징을 효과적으로 포착하며, 희박성과 저랭크 회귀 모델링을 가능하게 한다.
• 계수 행렬에 강한 저랭크 구조가 존재하는 상황에서 그룹-Lasso-랭크 절차는 명시적인 랭크 제약 조건 덕분에 Lasso-MLE를 능가하는 성능을 보인다.
• 시뮬레이션 및 실데이터에 대한 경험적 평가 결과, 본 방법은 고차원 및 기능적 설정에서 진짜 군집 구조와 회귀 관계를 회복할 수 있음을 확인하였다.