[논문 리뷰] Optimal Clustering in Anisotropic Gaussian Mixture Models

Xin Chen, Anderson Y. Zhang|arXiv (Cornell University)|2021. 01. 14.

Bayesian Methods and Mixture Models참고 문헌 22인용 수 5

한 줄 요약

이 논문은 미지의 비동일 공분산 행렬을 가진 비등방성 가우시안 혼합 모형(GMM)에서 클러스터링에 대한 최소최대 하한을 설정하며, 신호 대 잡음비는 클러스터 중심과 공분산 구조의 양면에 의존함을 보여준다. 또한 몇 번의 반복 내에 최적의 속도를 달성하는 하드 EM 유형의 알고리즘을 제안하며, 비등방성 공분산을 다룰 수 있도록 라이드 알고리즘을 변형한다.

ABSTRACT

We study the clustering task under anisotropic Gaussian Mixture Models where the covariance matrices from different clusters are unknown and are not necessarily the identical matrix. We characterize the dependence of signal-to-noise ratios on the cluster centers and covariance matrices and obtain the minimax lower bound for the clustering problem. In addition, we propose a computationally feasible procedure and prove it achieves the optimal rate within a few iterations. The proposed procedure is a hard EM type algorithm, and it can also be seen as a variant of the Lloyd's algorithm that is adjusted to the anisotropic covariance matrices.

연구 동기 및 목표

• 공분산 행렬이 미지이자 반드시 동일하지 않은 비등방성 GMM에서 클러스터링의 기본 한계를 규명하는 것.
• 동일 공분산 모델과 이종 공분산 모델 모두에서 클러스터링 오차율에 대한 최소최대 하한을 설정하는 것.
• 비등방성 설정에서 최적의 속도를 달성하는 계산적으로 실현 가능한 알고리즘을 개발하는 것.
• 표준 방법들인 라이드 알고리즘과 스펙트럴 클러스터링이 공분산 인식 설계가 부족하여 비등방성 경우에 실패함을 보여주는 것.
• 비등방성 GMM에서의 신호 대 잡음비가 클러스터 차이의 마할라노비스 유형 변환을 포함하며, 이는 공분산 구조의 역할을 반영한다는 것을 보여주는 것.

제안 방법

• 정보이론적 추론을 사용하여 클러스터링 문제를 선형 및 이차 판별 분석(LDA/QDA)과 연결함으로써 최소최대 하한을 유도한다.
• 클러스터 할당과 클러스터 매개변수 추정을 반복적으로 업데이트하는 하드 EM 유형 알고리즘을 제안하며, 마할라노비스 거리에 의한 공분산 구조를 통합한다.
• 유사도 기반의 라이드 알고리즘을 수정하여 유클리드 거리 대신 클러스터별 공분산 행렬을 고려한 마할라노비스 거리를 사용한다.
• 알고리즘의 할당 단계에서 추정된 공분산 행렬의 스펙트럼 분해를 사용하여 마할라노비스 거리 측도를 정의한다.
• 이중 단계 절차를 사용한다: 초기 클러스터링은 스펙트럼 완화를 통해 수행하고, 이후 공분산 인식 기반의 EM 업데이트를 통해 정밀화한다.
• 알고리즘이 조건수에 관계없이 이종 공분산 모델에서도 상수 개의 반복 내에 최적의 속도에 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 미지의 비동일 공분산 행렬을 가진 비등방성 GMM에서 클러스터링의 기본 최소최대 속도는 무엇인가?
• RQ2 비등방성 GMM에서의 신호 대 잡음비는 등방성 경우와 어떻게 다를까? 공분산 행렬은 어떤 역할을 하는가?
• RQ3 계산적으로 효율적인 알고리즘이 비등방성 GMM 설정에서 최소최대 최적 속도를 달성할 수 있는가?
• RQ4 왜 표준 클러스터링 알고리즘들인 라이드 알고리즘 또는 스펙트럴 클러스터링은 비등방성 경우에 실패하는가?
• RQ5 이종 공분산 모델에서 클러스터 중심과 공분산 행렬 간의 상호작용은 클러스터링의 어려움에 어떤 영향을 미치는가?

주요 결과

• 비등방성 GMM에서의 최소최대 하한은 $\exp\left(-(1+o(1))\frac{(\text{SNR})^2}{8}\right)$ 형태를 가지며, 여기서 SNR는 클러스터 중심과 공분산 행렬의 양면에 의존한다.
• 동일 공분산 모델(모든 $\Sigma^*_a = \Sigma^*$)에서는 SNR가 $\min_{a \neq b} \| (\theta^*_a - \theta^*_b)^T \Sigma^{*-1/2} \|$ 로 표현되며, 마할라노비스 거리의 형태를 반영한다.
• 이종 모델에서는 중심 간 차이와 공분산 행렬 간 차이의 더 복잡한 상호작용이 SNR에 포함된다.
• 제안된 하드 EM 알고리즘은 공분산이 미지이자 비동일한 경우에도 상수 개의 반복 내에 최소최대 최적 속도에 도달한다.
• 이 알고리즘은 추정된 공분산 행렬을 사용하여 마할라노비스 거리를 통합한 라이드 알고리즘의 변종으로, 비등방성에 대해 강건함을 확보한다.
• 라이드 알고리즘 또는 스펙트럴 클러스터링과 같은 표준 방법들은 공분산 구조를 忽略하기 때문에 비등방성 설정에서는 최적성이 떨어진다.