[논문 리뷰] Constrained Optimization for a Subset of the Gaussian Parsimonious Clustering Models

Ryan P. Browne, Sanjeena Subedi외 1명|arXiv (Cornell University)|2013. 06. 25.

Bayesian Methods and Mixture Models참고 문헌 26인용 수 6

한 줄 요약

이 논문은 파라미터 추정의 안정성과 분류 성능을 향상시키기 위해, 가우시안 단순화 클러스터링 모델(Gaussian Parsimonious Clustering Models, rGPCM)의 부분 집합에서 고유값의 제약 최적화를 제안한다. EM 알고리즘 반복 과정 중 구성 요소 공분산 행렬의 최소, 최대, 또는 둘 다의 고유값을 동적 초기화와 고정 범위 제약을 사용하여 제약함으로써, 열화를 줄이고 더 높은 우도 해에 수렴하도록 한다. 이는 시뮬레이션 및 실세계 데이터에서 표준 GPCM 모델보다 뛰어난 성능을 보인다.

ABSTRACT

The expectation-maximization (EM) algorithm is an iterative method for finding maximum likelihood estimates when data are incomplete or are treated as being incomplete. The EM algorithm and its variants are commonly used for parameter estimation in applications of mixture models for clustering and classification. This despite the fact that even the Gaussian mixture model likelihood surface contains many local maxima and is singularity riddled. Previous work has focused on circumventing this problem by constraining the smallest eigenvalue of the component covariance matrices. In this paper, we consider constraining the smallest eigenvalue, the largest eigenvalue, and both the smallest and largest within the family setting. Specifically, a subset of the GPCM family is considered for model-based clustering, where we use a re-parameterized version of the famous eigenvalue decomposition of the component covariance matrices. Our approach is illustrated using various experiments with simulated and real data.

연구 동기 및 목표

• 국소 최대값과 특이성으로 인해 EM 알고리즘이 가우시안 혼합 모델에서 불안정해지는 문제를 해결한다.
• 한 구성 요소의 분산이 매우 작아서 발생하는 열화된 해로의 수렴을 줄인다.
• 구성 요소 공분산 행렬의 고유값을 제약하여 분류 정확도와 로그우도를 향상시킨다.
• rGPCM 가족의 부분 집합에 적용 가능한 제약된 매개변수 추정 프레임워크를 개발한다.
• 실세계 및 시뮬레이션 데이터에서 동적 초기화와 고정 범위 제약을 통해 고유값 제약의 효과를 입증한다.

제안 방법

• 구성 요소 공분산 행렬에 대해 재매개변수화된 고유값 분해를 적용한다: $\mathbf{\Sigma}_g = \lambda_g \mathbf{D}_g \mathbf{A}_g \mathbf{D}_g^\top$.
• 고유값의 범위를 제한하기 위해 최소 고유값($\lambda_{\min}$), 최대 고유값($\lambda_{\max}$), 또는 둘 다에 제약 조건을 부과한다.
• 동적 초기화를 사용한다: 처음 25개의 EM 반복 동안 좁은 고유값 범위(예: $[0,1]$)로 시작하여 점차 느슨하게 조정한다.
• 최적화 전반에 걸쳐 제약 조건을 유지함으로써 EM 동안 로그우도가 단조증가하도록 보장한다.
• 표본 공분산 행렬의 고유값을 기반으로 고정 범위 제약을 적용한다: $[\lambda_{\min}^{(\text{sample})}, \lambda_{\max}^{(\text{sample})}]$.
• 시뮬레이션 및 실세계 데이터 세트에서 BIC와 조정된 랜드 지수(Adjusted Rand Index, ARI)를 사용하여 제약된 rGPCM 모델과 표준 GPCM 모델을 비교한다.

실험 결과

연구 질문

• RQ1 구성 요소 공분산 행렬의 최소 및/또는 최대 고유값을 제약함으로써, EM 기반 가우시안 혼합 모델 피팅에서의 열화를 줄일 수 있는가?
• RQ2 점차적으로 느슨해지는 고유값 제약을 가진 동적 초기화는 제약이 없는 EM에 비해 더 높은 우도 해로의 수렴을 향상시키는가?
• RQ3 실세계 데이터에서 고유값이 제약된 rGPCM 모델은 표준 GPCM 모델에 비해 분류 정확도와 모델 적합도 측면에서 어떻게 비교되는가?
• RQ4 사전에 설정된 고유값 범위 선택이 모델 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 고유값 제약는 단순화된 가우시안 모델에서 클러스터링 성능을 향상시키는 정규화의 한 형태로 볼 수 있는가?

주요 결과

• 제약이 없는 EM 알고리즘은 특히 한 구성 요소의 분산이 훨씬 작을 경우 매우 낮은 고유값을 가진 열화된 해로 자주 수렴한다.
• 점차적으로 느슨해지는 고유값 제약를 가진 동적 초기화는 열화 위험을 크게 줄이며 EM 알고리즘의 단조증가성을 유지한다.
• 와인 데이터셋에서 최고의 rGPCM 모델(VE, G=3)은 ARI 0.96을 달성하여 최고의 GPCM 모델(ARI=0.90)을 능가했다.
• 크래브스 데이터셋에서 최고의 rGPCM 모델(EV, G=4)은 ARI 0.80을 달성하여 최고의 GPCM 모델(ARI=0.50, G=9)을 크게 앞서갔다.
• 제약된 고유값 모델은 동일한 초기값을 사용한 제약이 없는 EM 실행에 비해 항상 더 높은 로그우도 값을 기록했다.
• 실세계 데이터셋 양쪽에서 고유값 제약이 있는 rGPCM 모델은 표준 GPCM 모델보다 더 뛰어난 분류 성능과 더 낮은 BIC 값을 제공했다.