[논문 리뷰] Moment-based Uniform Deviation Bounds for $k$-means and Friends

Matus Telgarsky, Sanjoy Dasgupta|arXiv (Cornell University)|2013. 11. 08.

Bayesian Methods and Mixture Models참고 문헌 10인용 수 7

한 줄 요약

이 논문은 유계성 또는 서브가우시안성 조건 없이 약한 모멘트 조건 하에서 $k$-means 및 가우시안 혼합 모델에 대해 모멘트 기반의 균일 편차 경계를 수립한다. 비유계 매개변수 공간에서의 편차를 제어하기 위해 새로운 외부 브라켓 기법을 도입하여, $p \geq 4$ 모멘트 조건 하에서 $k$-means에 대해 $\mathcal{O}(m^{-1/4})$의 수렴 속도를 달성하고, $p \geq 8$ 모멘트 조건 하에서 가우시안 혼합 모델에 대해 $\mathcal{O}(m^{-1/2 + 3/p})$의 수렴 속도를 확보한다.

ABSTRACT

Suppose $k$ centers are fit to $m$ points by heuristically minimizing the $k$-means cost; what is the corresponding fit over the source distribution? This question is resolved here for distributions with $p\geq 4$ bounded moments; in particular, the difference between the sample cost and distribution cost decays with $m$ and $p$ as $m^{\min\{-1/4, -1/2+2/p\}}$. The essential technical contribution is a mechanism to uniformly control deviations in the face of unbounded parameter sets, cost functions, and source distributions. To further demonstrate this mechanism, a soft clustering variant of $k$-means cost is also considered, namely the log likelihood of a Gaussian mixture, subject to the constraint that all covariance matrices have bounded spectrum. Lastly, a rate with refined constants is provided for $k$-means instances possessing some cluster structure.

연구 동기 및 목표

• 유계성 또는 서브가우시안 분포 조건 없이 $k$-means 및 소프트 클러스터링(가우시안 혼합 모델의 로그우도)에 대해 유한 표본 편차 경계를 제공한다.
• 매개변수 공간과 비용 함수가 비유계일 때 균일 편차를 제어하는 데 도전하는 문제를 다룬다.
• 모멘트 조건($k$-means에 대해 $p \geq 4$, 혼합 모델에 대해 $p \geq 8$)에 의존하여 체중 꼬리 분포로의 일致성 결과를 확장한다.
• 비유계 매개변수 집합 전역에서 편차를 균일하게 제어하는 일반적인 기법—외부 브라켓—을 개발한다.
• 클러스터 구조가 존재할 경우 $k$-means의 수렴 속도를 개선하여 일반 경계를 향상시킨다.

제안 방법

• 외부 브라켓 기법을 도입—비유계 꼬리 분포에서의 편차를 제어하기 위해, 먼 점들의 기여도를 모멘트 조건을 이용해 제한함으로써 비유계 매개변수 공간에서의 편차 제어를 가능하게 한다.
• 단일 공 $B_i$ 가 유계 거리 내의 모든 중심에 대해 편차를 제어할 수 있음을 도미네이팅 수렴 정리로 보여주어 문제를 국소 및 외부 편차 제어 문제로 축소한다.
• 콤팩트 집합 내의 국소 편차를 제어하기 위해 체비셰프 유사 부등식을 적용하고, 꼬리(외부) 편차는 모멘트 기반 경계로 제어한다.
• 매개변수 공간에 대한 넷 $\mathcal{N}$ 을 구성하여 문제를 이산화하고, 커버링 추론과 반경에 대한 모멘트 기반 경계를 통해 넷 크기를 제어한다.
• 공분산 행렬의 스펙트럼 노름을 제어하고 모멘트 기반 집중을 활용하여 가우시안 혼합 모델의 로그우도 편차에 대한 경계를 유도한다.
• 넷 커버링과 고확률 편차 경계를 조합하여, 비용 임계값 $c$ 를 만족하는 모든 매개변수 설정에 대해 균일 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 기본 분포가 $p \geq 4$ 모멘트만 가지는 경우, 유계성 또는 서브가우시안성 조건 없이 $k$-means에 대해 균일 편차 경계를 어떻게 확립할 수 있는가?
• RQ2 특히 공분산 행렬의 스펙트럼 노름이 유계일 경우, 모멘트 조건 하에서 가우시안 혼합 모델의 로그우도에 대해 균일 편차 경계를 유도할 수 있는가?
• RQ3 약한 모멘트 조건 하에서 $k$-means 및 소프트 $k$-means의 표본 비용이 인구 비용으로 수렴하는 속도는 무엇인가?
• RQ4 비유계 매개변수 집합과 비용 함수에서, 오직 모멘트 조건에 의존하여 편차 제어를 유지할 수 있는가?
• RQ5 데이터에 내재된 클러스터 구조가 존재할 경우, 편차 수렴 속도를 향상시킬 수 있는가?

주요 결과

• $p \geq 4$ 모멘트 조건 하에서 $k$-means에 대해 표본 비용과 인구 비용 간의 균일 편차가 $\mathcal{O}(m^{\min\{-1/4, -1/2 + 2/p\}})$ 속도로 감소한다.
• $p \geq 8$ 모멘트 조건과 유계 스펙트럼 노름 조건 하에서 가우시안 혼합 모델에 대해 편차 속도는 $\mathcal{O}(m^{-1/2 + 3/p})$ 이다.
• 외부 브라켓 기법은 모멘트 조건을 활용해 꼬리 기여도를 제한함으로써 비유계 매개변수 집합 전역에서 균일한 제어를 가능하게 한다.
• Lloyd 알고리즘과 같은 히우리스틱에도 적용 가능하며, 출력 비용이 고정된 $c$ 이하로 유계이면, 비최적 해에 대해서도 강건하다.
• 클러스터 구조가 존재할 경우 $k$-means에 대해 개선된 수렴 속도를 도출하였다.
• 분석 결과, 모멘트 조건($p \geq 4$)이 충분하여 유계성 또는 서브가우시안성 조건이 실패하는 체중 꼬리 분포를 다룰 수 있음을 보여준다.