[논문 리뷰] PECOK: a convex optimization approach to variable clustering

Florentina Bunea, Christophe Giraud외 2명|arXiv (Cornell University)|2016. 06. 16.

Bayesian Methods and Mixture Models참고 문헌 16인용 수 13

한 줄 요약

PECOK는 G-잠재 모델 하에서 K-means보다 개선된 변수 군집화를 위한 볼록 최적화 프레임워크이다. 반정형 프로그래밍을 활용하여 근사 최소최대 최적의 군집 복원을 달성한다. 군집 수가 알려져 있지 않거나 적응적으로 추정되더라도, 진정한 군집을 최소최대 하한선과 일치하는 분리 속도로 일致적으로 복원한다.

ABSTRACT

The problem of variable clustering is that of grouping similar components of a $p$-dimensional vector $X=(X_{1},\ldots,X_{p})$, and estimating these groups from $n$ independent copies of $X$. When cluster similarity is defined via $G$-latent models, in which groups of $X$-variables have a common latent generator, and groups are relative to a partition $G$ of the index set $\{1, \ldots, p\}$, the most natural clustering strategy is $K$-means. We explain why this strategy cannot lead to perfect cluster recovery and offer a correction, based on semi-definite programing, that can be viewed as a penalized convex relaxation of $K$-means (PECOK). We introduce a cluster separation measure tailored to $G$-latent models, and derive its minimax lower bound for perfect cluster recovery. The clusters estimated by PECOK are shown to recover $G$ at a near minimax optimal cluster separation rate, a result that holds true even if $K$, the number of clusters, is estimated adaptively from the data. We compare PECOK with appropriate corrections of spectral clustering-type procedures, and show that the former outperforms the latter for perfect cluster recovery of minimally separated clusters.

연구 동기 및 목표

• G-잠재 모델 하에서 유사도가 공유 잠재 생성자에 의해 정의될 때 K-means가 완벽한 군집 복원을 달성하는 데에 한계가 있음을 해결하기 위해.
• 반정형 프로그래밍을 통한 K-means의 볼록 근사화를 개발하여 일致적이고 최적의 군집 추정을 가능하게 하기 위해.
• G-잠재 모델에 맞춘 최소최대 최적의 군집 분리 속도를 확립하고, 복원에 대한 이론적 보장을 제공하기 위해.
• PECOK를 스펙트럴 군집화 유형의 방법들과 비교하여, 최소 분리된 군집을 복원하는 데서의 우월성을 입증하기 위해.

제안 방법

• PECOK는 변수 군집화를 벌점 부여 반정형 프로그래밍으로 공식화하여, 비볼록 K-means 목표함수를 볼록 최적화 문제로 변환한다.
• G-잠재 모델 하에서 공분산 행렬의 블록 구조를 활용하며, 동일한 그룹에 속한 변수들은 공통의 잠재 성분을 공유한다.
• 군집 할당을 구하기 위해 K-means 목표함수의 볼록 근사를 풀며, 변형된 공분산 행렬의 고유벡터를 사용한다.
• 군집 간 잠재 성분 간 거리를 측정하는 캐논컬 내외군집 공분산 갭을 기반으로 한 군집 분리도 Δ(C)를 도입한다.
• 표본 공분산 행렬의 대각 성분을 제거한 후, 주요 고유벡터에 대해 회전 불변 군집화 단계를 수행한다.
• 이론적 분석은 다이비스-카한 부등식과 농도 경계를 활용하여 고유벡터의 변동을 통제하고 고확률 오차 경계를 유도한다.

실험 결과

연구 질문

• RQ1 G-잠재 모델 하에서 K-means의 볼록 근사화가 근사 최소최대 최적의 군집 복원을 달성할 수 있는가?
• RQ2 G-잠재 모델에서 군집 분리의 최소최대 최적 속도는 무엇이며, 이를 데이터 기반 방법이 달성할 수 있는가?
• RQ3 최소 분리 조건 하에서 PECOK는 스펙트럴 군집화 유형 절차보다 완벽한 군집 복원에서 어떻게 우월한가?
• RQ4 군집 수 K가 알려져 있지 않거나 데이터로부터 적응적으로 추정될 경우 PECOK는 최적 성능을 유지하는가?
• RQ5 제안된 분리도 Δ(C)는 군집 간 구분의 의미 있고 통계적으로 해석 가능한 척도로 기능할 수 있는가?

주요 결과

• PECOK는 Δ(C)의 분리 속도가 최소최대 하한선과 일치하는 (로그 인용 요소를 제외한) 근사 최소최대 최적 복원을 달성한다.
• 이 방법은 (log p / n)^(1/2)의 속도로 진정한 분할 G를 복원하며, 이는 G-잠재 모델에 대해 최소최대 최적이다.
• 특히 고차원 설정에서, 보정된 스펙트럴 군집화 방법들보다 최소 분리된 군집을 복원하는 데서 더 뛰어나다.
• 군집 수 K가 데이터로부터 적응적으로 추정되더라도 알고리즘이 근사 최적 성능을 유지한다.
• 분리도 Δ(C)가 어떤 상수 c에 대해 Δ(C) ≥ c (log p / n)^(1/2)를 만족할 경우, 이론적 보장이 고확률로 유지된다.
• K-means가 내재하는 국소 최적해 문제를 피하기 위해 볼록 근사를 통해 군집 구조의 일致한 추정을 보장한다.