[논문 리뷰] Convergence rate of stochastic k-means

Cheng Tang, Claire Monteleoni|arXiv (Cornell University)|2016. 11. 16.

Stochastic Gradient Optimization Techniques인용 수 8

한 줄 요약

이 논문은 k-means 해공간에 대한 새로운 기하학적 분석을 통해 일반 조건 하에서 온라인 및 미니배치 k-means 알고리즘에 대해 O(1/t)의 최초의 전역 수렴 속도를 확립한다. 또한 데이터가 군집 가능할 경우 적절한 초기화를 통해 미니배치 k-means가 고전적인 최적 해로 O(1/t) 속도로 수렴함을 보인다.

ABSTRACT

We analyze online \cite{BottouBengio} and mini-batch \cite{Sculley} $k$-means variants. Both scale up the widely used $k$-means algorithm via stochastic approximation, and have become popular for large-scale clustering and unsupervised feature learning. We show, for the first time, that starting with any initial solution, they converge to a "local optimum" at rate $O(\frac{1}{t})$ (in terms of the $k$-means objective) under general conditions. In addition, we show if the dataset is clusterable, when initialized with a simple and scalable seeding algorithm, mini-batch $k$-means converges to an optimal $k$-means solution at rate $O(\frac{1}{t})$ with high probability. The $k$-means objective is non-convex and non-differentiable: we exploit ideas from recent work on stochastic gradient descent for non-convex problems \cite{ge:sgd_tensor, balsubramani13} by providing a novel characterization of the trajectory of $k$-means algorithm on its solution space, and circumvent the non-differentiability problem via geometric insights about $k$-means update.

연구 동기 및 목표

• 온라인 및 미니배치 방법을 포함한 스토하스틱 k-means 변종의 수렴 속도를 엄밀하게 규명하는 것.
• 스토하스틱 k-means가 다양한 국소 최적해로 수렴하는 이유와 미니배치 크기가 최종 해의 품질에 미치는 영향을 설명하는 것.
• 일반 조건 하에서 임의의 초기 해에 대해 국소 최적해로의 전역 수렴 속도 O(1/t)를 확립하는 것.
• 스케일러블한 시딩 초기화를 통해 데이터가 군집 가능할 경우 미니배치 k-means가 고전적인 k-means 해로 O(1/t) 속도로 고확률로 수렴함을 보이는 것.

제안 방법

• 기여점 공간을 유도된 군집화 기반의 동치류로 분할하여 해공간 내에서 배치 k-means의 동작을 추적할 수 있는 프레임워크를 도입한다.
• 현재 군집화가 모든 국소 최적해 집합으로부터의 거리를 리아프노프 유사 함수로 사용하여 수렴성을 분석한다.
• k-means 업데이트의 기하학적 성질을 활용하여 목적 함수의 비미분 가능성과 비凸성 문제를 회피한다.
• 스토하스틱 근사와 비凸 최적화 도구를 적용하며, 특히 스토하스틱 경사하강법의 O(1/t) 수렴 결과를 활용한다.
• 확률적 농도 경계와 尾尾 불등식을 사용하여 원하는 수렴 행동에서의 이탈 확률을 제어한다.
• 최적 군집에서 점을 샘플링할 확률에 대한 새로운 분석을 통해 전역 최적해로의 지속적 진전을 보장한다.

실험 결과

연구 질문

• RQ1 온라인 및 미니배치 k-means 알고리즘의 k-means 목적 함수 기반 수렴 속도는 무엇인가?
• RQ2 왜 스토하스틱 k-means 변종은 서로 다른 국소 최적해로 수렴하는가? 그리고 미니배치 크기는 최종 해의 품질에 어떤 영향을 미치는가?
• RQ3 미니배치 k-means가 전역 최적 k-means 해로 수렴할 수 있는 조건는 무엇인가?
• RQ4 k-means 목적 함수가 비凸이고 비미분 가능하더라도 수렴 속도를 엄밀히 경계할 수 있는가?

주요 결과

• 일반 조건 하에서 임의의 초기 해에 대해 스토하스틱 k-means는 O(1/t) 속도로 전역적으로 국소 최적해로 수렴한다.
• 데이터가 군집 가능하고 단순한 시딩 알고리즘으로 초기화할 경우, 미니배치 k-meанс는 고전적인 k-means 해로 O(1/t) 속도로 고확률로 수렴한다.
• 국소 최적해의 기하학적 성질 덕분에 알고리즘이 국소 최적해 근처에 있을 때도 수렴 속도가 유지된다.
• 업데이트 동역학의 기하학적 특성화를 통해 k-means 목적 함수의 비미분 가능성과 비凸성 문제를 성공적으로 다룬다.
• 최적 해로의 수렴 확률은 1−δ 이하로 하한이 설정되며, 이는 미니배치 크기와 데이터 분포 매개변수에 명시적인 의존성을 가진다.
• 이론적 수렴 속도 O(1/t)는 해공간 내에서 가장 가까운 국소 최적해까지의 거리를 통해 진전을 추적하는 프레임워크를 통해 검증된다.