[논문 리뷰] Minimax Optimal Variable Clustering in G-models via Cord

Florentina Bunea, Christophe Giraud외 1명|arXiv (Cornell University)|2015. 08. 08.

Bayesian Methods and Mixture Models참고 문헌 1인용 수 8

한 줄 요약

이 논문은 코풀라 기반 유사도를 사용하여 G-모델에서 변수 클러스터링을 위한 최소최대 최적 방법인 CORD를 소개한다. 이는 클러스터 수나 크기와 무관하게 $\sqrt{\log p / n}$ 속도로 정확한 분할 복원을 달성하며, 다항시간 계산과 $G$-교환가능성 및 $G$-블록 공분산 모델을 통한 보장된 식별성으로 구현된다.

ABSTRACT

The goal of variable clustering is to partition a random vector ${\bf X} \in R^p$ in sub-groups of similar probabilistic behavior. Popular methods such as hierarchical clustering or $K$-means are algorithmic procedures applied to observations on ${\bf X}$, while no population level target is defined prior to estimation. We take a different view in this paper, where we propose and investigate model based variable clustering. We consider three models, of increasing level of complexity, termed generically $G$-models, with $G$ standing for the partition to be estimated. Motivated by the potential lack of identifiability of the $G$-latent models, which are currently used in problems involving variable clustering, we introduce two new classes of models, the $G$-exchangeable and the $G$-block covariance models. We show that both classes are identifiable, for any distribution of ${\bf X}$. Our focus is on clusters that are invariant with respect to unknown monotone transformations of the data, and that can be estimated in a computationally feasible manner. Both desiderata can be met if the clusters correspond to blocks in the copula correlation matrix of ${\bf X}$, assumed to have a Gaussian copula distribution. This motivates the introduction of a new similarity metric for cluster membership, CORD, and a homonymous method for cluster estimation. Central to our work is the derivation of the minimax value of the CORD cluster separation for exact partition recovery. We obtained the surprising result that this value is of order $\sqrt{{\log (p)}/{n}}$, irrespective of the number of clusters, or of the size of the smallest cluster. Our new procedure, CORD, available on CRAN, achieves this bound, is easy to implement and has computational complexity that is polynomial in $p$.

연구 동기 및 목표

• 기존 변수 클러스터링 방법에서의 인구 수준 목표 부족 문제를 해결하기 위해, 식별 가능한 모델 기반 클러스터링을 제안한다.
• 데이터의 단순 순서 변환에 대해 불변인 클러스터링 방법을 개발하여 다양한 척도에서의 강건성을 확보한다.
• 클러스터 수나 크기와 무관하게 정확한 분할 복원을 달성하고 최소최대 최적 성능을 확보한다.
• 고차원 설정에 적합한 다항시간 복잡도를 가진 계산 가능성을 확보하는 방법을 도입한다.
• $G$-교환가능성 및 $G$-블록 공분산 모델을 도입하여 클러스터링 모델의 식별성을 보장한다.

제안 방법

• 기존 잠재변수 모델의 대안으로 변수 클러스터링에서 식별 가능한 $G$-교환가능성 및 $G$-블록 공분산 모델을 제안한다.
• 가우스 코풀라 가정 하에 코풀라 공분산 행렬 기반의 새로운 유사도 측정법인 CORD를 정의한다.
• 코풀라 공분산 행렬을 사용하여 클러스터를 블록으로 식별함으로써 단순 순서 변환에 대해 불변성을 확보한다.
• 정확한 분할 복원을 위한 최소최대 최적 클러스터 간격을 $\sqrt{\log p / n}$ 으로 유도한다.
• 최소최대 속도를 달성하는 다항시간 알고리즘을 CORD에 개발한다.
• 알고리즘 절차(예: $K$-means 또는 계층적 클러스터링)에 의존하지 않는 인구 수준 모델링 접근법을 채택한다.

실험 결과

연구 질문

• RQ1 가우스 코풀라 가정 하에 $G$-모델에서 정확한 변수 클러스터링 복원을 위한 최소최대 최적 속도는 무엇인가?
• RQ2 모든 $\mathbf{X}$의 분포에 대해 단순 순서 변환에 대해 불변이면서 동시에 식별 가능한 클러스터링 방법은 존재하는가?
• RQ3 클러스터의 구조와 무관하게 $p$에 대해 다항시간 복잡도를 가지며 정확한 분할 복원을 달성할 수 있는가?
• RQ4 최소최대 속도가 $p$와 $n$에 따라 어떻게 달라지며, 클러스터 수나 크기에 따라 영향을 받는가?
• RQ5 강력한 파rametric 가정을 부과하지 않고도 변수 클러스터링 모델의 식별성을 보장할 수 있는가?

주요 결과

• 정확한 분할 복원을 위한 최소최대 최적 클러스터 간격은 클러스터 수나 최소 클러스터 크기와 무관하게 $\sqrt{\log p / n}$ 이다.
• CORD 방법은 이 최소최대 속도를 달성하여 변수 클러스터링에서 최적의 통계적 성능을 보여준다.
• $G$-교환가능성 및 $G$-블록 공분산 모델은 $\mathbf{X}$의 임의의 분포에 대해 식별 가능하며, 이는 이전의 $G$-잠재모델에서의 식별성 문제를 해결한다.
• CORD는 계산적으로 효율적이며 $p$에 대해 다항시간 복잡도를 가지며 고차원 설정에의 확장성을 보장한다.
• 이 방법은 데이터의 알려지지 않은 단순 순서 변환에 대해 불변이므로 실제 응용에서 강건성을 확보한다.
• CORD는 CRAN에 공개되어 있어 통계 소프트웨어에서 실용적 구현과 재현 가능성을 확보한다.