[논문 리뷰] Monte Carlo approximation certificates for k-means clustering

Dustin G. Mixon, Soledad Villar|arXiv (Cornell University)|2017. 10. 03.

Data Management and Algorithms참고 문헌 1인용 수 3

한 줄 요약

이 논문은 소규모 무작위 데이터 샘플에서 정수형 프로그래밍(SDP) 근사를 풀어 k-means 군집화의 근사 증명을 생성하는 비선형 몬테카를로 알고리즘을 소개한다. 이 알고리즘은 ℝ^m에서 두 개의 등방성 가우시안 혼합 모델에서 유래한 데이터에 대해 최적 k-means 목표 함수의 고신뢰도 하한을 제공하며, 99% 신뢰도로 3-근사 증명을 달성한다. 이는 대규모 데이터셋에서 k-means++보다 빠르게 작동한다.

ABSTRACT

Efficient algorithms for $k$-means clustering frequently converge to suboptimal partitions, and given a partition, it is difficult to detect $k$-means optimality. In this paper, we develop an a posteriori certifier of approximate optimality for $k$-means clustering. The certifier is a sub-linear Monte Carlo algorithm based on Peng and Wei's semidefinite relaxation of $k$-means. In particular, solving the relaxation for small random samples of the dataset produces a high-confidence lower bound on the $k$-means objective, and being sub-linear, our algorithm is faster than $k$-means++ when the number of data points is large. We illustrate the performance of our algorithm with both numerical experiments and a performance guarantee: If the data points are drawn independently from any mixture of two Gaussians over $\mathbb{R}^m$ with identity covariance, then with probability $1-O(1/m)$, our $\operatorname{poly}(m)$-time algorithm produces a 3-approximation certificate with 99% confidence.

연구 동기 및 목표

• 표준 히وري스틱이 종종 부분 최적 해로 수렴하는 k-means 군집화에서 근사 최적성 검증 문제를 해결하기 위해.
• 완전한 k-means나 SDP 해법보다 계산 비용이 저렴한 후행 증명을 생성하는 빠르고 확장 가능한 방법을 개발하기 위해.
• 특정 확률적 데이터 모델 하에서 k-means 목표 함수의 하한이 최적에 가까운 통계적 보장을 제공하기 위해.
• 대규모 데이터셋에서 하한 품질과 계산 효율성 측면에서 k-means++를 능가하기 위해.

제안 방법

• 이 방법은 k-means 문제의 펑과 위의 정수형 프로그래밍 근사를 기반으로 최적 k-means 목표 함수의 하한을 유도한다.
• 소규모 무작위 데이터 서브셋에서 SDP 근사를 풀어 하한을 추정하기 위해 비선형 몬테카를로 접근을 적용한다.
• 기대값이 진짜 k-means 목표 함수의 하한이 되는 음이 아닌 랜덤 변수를 구성하여 통계적 가설 검정을 가능하게 한다.
• 검정 통계량 T는 이 랜덤 변수의 ℓ개 독립적 실현값 중 최소값으로 계산되며, 진짜 기대값이 임계값 B 이하일 가능성을 기각하는 데 사용된다.
• 고확률 신뢰구간을 도출하기 위해 레이지의 부등식과 카이제곱 분포의 경계를 활용한다.
• SDP 해법의 스펙트럴 노름과 노름 노름 경계를 조합하여 샘플 데이터와 랜덤 행렬 항목을 포함하는 계산 가능한 하한 표현식을 유도한다.

실험 결과

연구 질문

• RQ1 비선형 몬테카를로 알고리즘이 k-means 목표 함수에 대해 k-means++ 보다 훨씬 우수한 하한을 고신뢰도로 생성할 수 있는가?
• RQ2 어떤 데이터 가정 하에서 소규모 샘플에서의 SDP 근사가 근사 최적 하한을 제공하는가?
• RQ3 고차원에서의 가우시안 혼합 모델에 대해 제안된 방법이 99% 신뢰도로 3-근사 증명을 달성할 수 있는가?
• RQ4 데이터 포인트 수가 클 경우 증명의 계산 비용이 k-means++와 비교해 어떻게 되는가?

주요 결과

• ℝ^m에서 두 개의 등방성 가우시안 혼합 모델에서 유래한 데이터에 대해, 다항식 시간(m-다항식) 내에 99% 신뢰도로 3-근사 증명을 생성한다.
• 특히 고차원 환경에서 k-means++ 보다 훨씬 날카운 하한을 달성한다.
• 높은 확률(1−O(1/m))로 알고리즘의 하한은 최소 2B이며, 진짜 최적값은 최대 3B이므로 부분 최적 해를 강력하게 기각할 수 있다.
• 데이터 크기 대비 비선형 시간 내에 작동하므로, 데이터 포인트 수가 클 경우 k-means++보다 빠르게 작동한다.
• 카이제곱 및 스펙트럴 노름의 랜덤 행렬에 대한 농도 경계에 의존하여, 가우시안 가정 하에서도 강인함을 보장한다.
• 7개의 독립적 샘플에 대한 유니온 바운드는 귀무가설 기각을 위한 p-값 < 0.01을 보장하며, 높은 신뢰도로 증명을 검증한다.