[논문 리뷰] Finite mixture regression: A sparse variable selection by model selection for clustering

Émilie Devijver|arXiv (Cornell University)|2014. 09. 04.

Bayesian Methods and Mixture Models참고 문헌 13인용 수 5

한 줄 요약

이 논문은 고차원 설정에서 유한 혼합 회귀 모델에 대한 희소 변수 선택 방법을 제안하며, L1-벌점 최대우도 추정과 모델 선택을 조합하여 군집화에 관련된 공변수를 식별한다. 이로 인해 유도된 추정량에 대해 제논-컬백 레이블 손실 하에서 오라클 부등식을 수립하며, 이는 랜덤 모델 집합에 적응된 비점근 모델 선택 정리에 의해 유도된다.

ABSTRACT

We consider a finite mixture of Gaussian regression model for high- dimensional data, where the number of covariates may be much larger than the sample size. We propose to estimate the unknown conditional mixture density by a maximum likelihood estimator, restricted on relevant variables selected by an 1-penalized maximum likelihood estimator. We get an oracle inequality satisfied by this estimator with a Jensen-Kullback-Leibler type loss. Our oracle inequality is deduced from a general model selection theorem for maximum likelihood estimators with a random model collection. We can derive the penalty shape of the criterion, which depends on the complexity of the random model collection.

연구 동기 및 목표

• 표본 크기보다 공변수의 수가 많은 고차원 데이터 군집화 문제를 다루기.
• 동시에 관련 변수 선택과 혼합 성분 추정을 수행하는 방법 개발을 통한 군집화.
• 고차원 환경에서 변수 선택 및 군집화 성능에 대한 이론적 보장을 확보하기.
• Lasso 기반 변수 선택에서 유도된 랜덤 모델 집합에 대해 비점근 모델 선택 이론을 확장하기.
• 유한 표본 설정에서 오라클 효율성을 달성하는 벌점 기준 제공하기.

제안 방법

• 각 성분이 클러스터에 대응하고 클러스터별로 고유한 회귀 계수를 갖는 정규 혼합 회귀 모델을 설정한다.
• 차원 감소와 희소성 강제를 위해 L1-벌점 최대우도 추정을 사용하여 관련 변수를 선택한다.
• Lasso가 식별한 활성 집합을 기반으로 랜덤 모델 집합을 구성하여 데이터 기반 후보 모델을 형성한다.
• 최대우도 추정량에 대한 일반 모델 선택 정리를 적용하여 데이터 기반의 벌점 형태를 갖는 벌점 기준을 유도한다.
• 괄의 엔트로피와 엔트로피 엔트로피를 사용하여 모델 집합의 엔트로피를 유계화함으로써 복잡도에 의존하는 벌점 도출.
• 활성 집합의 차원과 클러스터 수에 따라 의존하는 벌점 함수 유도를 통해 오라클 부등식 보장.

실험 결과

연구 질문

• RQ1 고차원 유한 혼합 회귀 모델에서 변수 선택과 군집화를 동시에 달성할 수 있는가?
• RQ2 이러한 모델에 대해 비점근 최적성 보장이 가능한 벌점 기준은 어떻게 설계할 수 있는가?
• RQ3 고차원 희소성 하에서 제안된 추정량의 이론적 성능 보장(예: 오라클 부등식)은 무엇인가?
• RQ4 Lasso 선택으로 인해 발생하는 모델 집합의 랜덤성은 모델 선택 정리와 벌점 설계에 어떤 영향을 미치는가?
• RQ5 벌점은 클러스터 수와 활성 변수 집합의 크기에 어떻게 의존하는가?

주요 결과

• 제안된 추정량에 대해 제논-컬백 레이블 손실 하에서 오라클 부등식이 수립되었으며, 추정 위험이 최적의 위험에 로그 인자만큼의 상한선을 갖는다.
• 벌점 형태는 랜덤 모델 집합의 복잡도에 기반하며, 클러스터 수 $k$와 활성 변수 집합의 크기 $|J|$에 의존한다. $D_{(k,J)} = k(1 + |J|)$.
• 괄의 엔트로피를 사용하여 모델 집합의 엔트로피를 유계화하였으며, 이 유계는 $k$, $|J|$, 및 모델 파라미터 범위에 의존한다.
• 비점근 모델 선택 정리를 랜덤 모델 집합에 적용하도록 확장하여, 이전의 결정론적 집합에 대한 결과를 일반화하였다.
• 벌점의 크기가 $\sqrt{D_{(k,J)} \log(1/\sigma)}$의 주기로 나타나며, 적절한 조건 하에서 모델 선택의 일致성을 보장한다.
• 모든 모델에 대한 지수 가중치의 합이 2 이하로 유계지며, 이는 모델 선택 프레임워크에서 벌점의 타당성을 뒷받침한다.