[논문 리뷰] Better Agnostic Clustering Via Relaxed Tensor Norms

Pravesh K. Kothari, Jacob Steinhardt|ArXiv.org|2017. 11. 20.

Tensor decomposition and applications참고 문헌 25인용 수 27

한 줄 요약

이 논문은 $k$-means 클러스터링을 위한 새로운 볼록 relaxation을 제안하며, 합의 제곱 노름을 사용하여 삽입 텐서 노름의 계산 가능한 근사값을 도입한다. 이는 약한 모멘트 조건 하에서도 강력한 클러스터링을 가능하게 하며, 저차수 모멘트가 유한할 경우 클러스터 중심의 충실한 복원을 달성한다. 특히 악성 외곽선이 존재하는 상황에서도 강력한 보장을 제공하며, 임의의 $\gamma > 0$에 대해 분리 간격 $\Omega(k^\gamma)$ 조건 하에서 가우시안 혼합 모델 학습의 열린 문제를 해결한다. 이 방법은 파이오카레 부등식을 활용하여 모멘트 텐서 노름을 상한으로 제어함으로써, 시간 복잡도 $d^{O(1/\gamma)}$ 내에 효율적인 알고리즘을 가능하게 한다.

ABSTRACT

We develop a new family of convex relaxations for $k$-means clustering based on sum-of-squares norms, a relaxation of the injective tensor norm that is efficiently computable using the Sum-of-Squares algorithm. We give an algorithm based on this relaxation that recovers a faithful approximation to the true means in the given data whenever the low-degree moments of the points in each cluster have bounded sum-of-squares norms. We then prove a sharp upper bound on the sum-of-squares norms for moment tensors of any distribution that satisfies the \emph{Poincare inequality}. The Poincare inequality is a central inequality in probability theory, and a large class of distributions satisfy it including Gaussians, product distributions, strongly log-concave distributions, and any sum or uniformly continuous transformation of such distributions. As an immediate corollary, for any $γ> 0$, we obtain an efficient algorithm for learning the means of a mixture of $k$ arbitrary \Poincare distributions in $\mathbb{R}^d$ in time $d^{O(1/γ)}$ so long as the means have separation $Ω(k^γ)$. This in particular yields an algorithm for learning Gaussian mixtures with separation $Ω(k^γ)$, thus partially resolving an open problem of Regev and Vijayaraghavan \citet{regev2017learning}. Our algorithm works even in the outlier-robust setting where an $ε$ fraction of arbitrary outliers are added to the data, as long as the fraction of outliers is smaller than the smallest cluster. We, therefore, obtain results in the strong agnostic setting where, in addition to not knowing the distribution family, the data itself may be arbitrarily corrupted.

연구 동기 및 목표

• 두 번째 모멘트 장벽을 극복하기 위해, 비모수적 가정 대신 고차수 모멘트의 유한성에 기반하여 애그노스틱 클러스터링 문제를 해결한다.
• 모든 분포 가정을 최소화한 상황에서도 작동하는 계산적으로 효율적인 알고리즘을 개발한다. 이는 임의의 손상 및 외곽선이 존재하는 경우에도 적용 가능하다.
• 특정 분포 구조에 의존하지 않고도 고차수 모멘트 정보를 클러스터링 및 강력한 평균 추정에 체계적으로 활용할 수 있는 프레임워크를 제공한다.
• 가우시안 혼합 모델 학습의 열린 문제를 해결하기 위해, 임의의 $\gamma > 0$에 대해 분리 간격 $\Omega(k^\gamma)$ 조건 하에서 효율적인 복원이 가능함을 보여준다.
• 파이오카레 부등식 하에서 클러스터링의 이론적 보장을 확립한다. 이는 가우시안 및 로그-볼록 측도를 포함한 광범위한 분포 클래스에 적용 가능하다.

제안 방법

• 논문은 모멘트 텐서의 임베딩 텐서 노름에 대한 새로운 볼록 relaxation을 제안하며, 이는 합의 제곱 노름을 통해 삽입 텐서 노름의 계산 가능한 근사값을 제공한다.
• 모멘트 텐서의 합의 제곱 노름을 제한함으로써, 낮은 차수의 모멘트 정보만 존재하는 상황에서도 클러스터 중심을 복원할 수 있음을 보장한다.
• 반복적 클러스터링 알고리즘(알고리즘 3)은 모멘트 텐서 노름의 추정치를 사용하여 후보 중심을 점진적으로 개선하며, Proposition 5.10을 통한 커버링 추론을 활용한다.
• 외곽선에 대한 강건성은 각 클러스터 후보가 주로 한 개의 진짜 클러스터에서 온 점들로 구성되도록 보장함으로써 달성되며, 이는 $\delta$-순수성과 분리 임계값 기반의 순수성 조건에 기반한다.
• 이론적 보장은 파이오카레 부등식을 통해 도출되며, 이는 광범위한 분포 클래스에 대해 모멘트 텐서의 합의 제곱 노름에 대한 날카운 상한을 제공한다.
• 분리 간격 $\Omega(k^\gamma)$ 조건 하에서, $k$-성분 파이오카레 분포 혼합 모델을 학습하기 위한 효율적인 알고리즘을 설계하였으며, 이의 실행 시간은 $d^{O(1/\gamma)}$이다.

실험 결과

연구 질문

• RQ1 비모수적 가정 대신 고차수 모멘트의 유한성을 활용함으로써, 애그노스틱 클러스터링에서 두 번째 모멘트 장벽을 극복할 수 있는가?
• RQ2 계산적으로 효율적이고, 약한 모멘트 조건 하에서도 효과적인, 삽입 텐서 노름의 볼록 relaxation을 어떻게 설계할 수 있는가?
• RQ3 파이오카레 부등식을 만족하는 분포에 대해, 모멘트 텐서의 합의 제곱 노름에 대한 가장 날카운 상한은 무엇인가?
• RQ4 임의의 $\gamma > 0$에 대해, 분리 간격 $\Omega(k^\gamma)$ 조건 하에서 가우시안 혼합 모델의 효율적 클러스터링을 달성할 수 있는가? 이는 문헌에서 열려 있던 문제를 해결하는가?
• RQ5 임의의 손상이 존재하는 상황에서도 강력한 이론적 보장을 유지하면서, 외곽선에 대해 강건한 클러스터링을 어떻게 확보할 수 있는가?

주요 결과

• 모든 파이오카레 부등식을 만족하는 분포에 대해, 모멘트 텐서의 합의 제곱 노름에 대한 날카운 상한을 확립함으로써, 광범위한 분포 클래스에 대한 이론적 보장을 가능하게 하였다.
• 분리 간격이 $\Omega(k^\gamma)$일 경우, $k$-성분 파이오카레 분포 혼합 모델의 중심을 시간 복잡도 $d^{O(1/\gamma)}$ 내에 학습할 수 있는 효율적 알고리즘을 개발하였으며, 이는 Regev와 Vijayaraghavan(2017)에서 제기한 열린 문제를 해결한다.
• 클러스터 중심 추정에서 $\ell_2$ 오차는 $\mathcal{O}(B/\alpha^{1/t})$ 이며, 여기서 $B$는 모멘트 텐서 노름을 상한으로, $\alpha$는 최소 클러스터 크기 비율이다.
• 외곽선 비율이 가장 작은 클러스터의 크기 이하일 경우, 강건성이 보장되며 오차 범위는 $\mathcal{O}(B/\alpha^{1/t})$로 척도화된다.
• 분리 상수 $C_{\mathrm{sep}}$가 충분히 클 경우, 출력된 각 클러스터는 $\delta$-순수성(주로 한 개의 진짜 클러스터에서 유래)을 만족하며, 병합을 통한 정확한 복원이 가능하다.
• 이론적 분석을 통해, 외곽선 비율이 총 데이터의 $\frac{1}{4}$ 이하일 경우, 임의의 손상이 존재하는 상황에서도 알고리즘이 모든 진짜 클러스터 중심을 $\mathcal{O}(B/\alpha^{1/t})$ 오차 내에서 복원함을 확인하였다.