[論文レビュー] Convergence rate of stochastic k-means

Cheng Tang, Claire Monteleoni|arXiv (Cornell University)|Nov 16, 2016

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

本稿は、k-means解空間の新しい幾何的解析を用いて、一般の条件下でオンラインおよびミニバッチk-meansアルゴリズムの最初のグローバル収束速度O(1/t)を確立した。さらに、適切な初期化のもとで、データがクラスタリング可能である場合、ミニバッチk-meansは高確率で最適解へO(1/t)の速度で収束することを示した。

ABSTRACT

We analyze online \cite{BottouBengio} and mini-batch \cite{Sculley} $k$-means variants. Both scale up the widely used $k$-means algorithm via stochastic approximation, and have become popular for large-scale clustering and unsupervised feature learning. We show, for the first time, that starting with any initial solution, they converge to a "local optimum" at rate $O(\frac{1}{t})$ (in terms of the $k$-means objective) under general conditions. In addition, we show if the dataset is clusterable, when initialized with a simple and scalable seeding algorithm, mini-batch $k$-means converges to an optimal $k$-means solution at rate $O(\frac{1}{t})$ with high probability. The $k$-means objective is non-convex and non-differentiable: we exploit ideas from recent work on stochastic gradient descent for non-convex problems \cite{ge:sgd_tensor, balsubramani13} by providing a novel characterization of the trajectory of $k$-means algorithm on its solution space, and circumvent the non-differentiability problem via geometric insights about $k$-means update.

研究の動機と目的

• オンラインおよびミニバッチ手法を含む、確率的k-meansの変種の収束速度を厳密に特徴づけること。
• 確率的k-meansが異なる局所最適解に収束する理由と、ミニバッチサイズが最終的な解の品質に与える影響を説明すること。
• 一般の条件下で、任意の初期解に対して、局所最適解へO(1/t)の速度でグローバルに収束することを確立すること。
• スケーラブルなシーディング初期化を用いることで、データがクラスタブルである場合、ミニバッチk-meansが高確率で最適k-means解へO(1/t)の速度で収束することを示すこと。

提案手法

• 与えられたクラスタリングによって誘導される同値類に基づいて重心空間を分割することで、バッチk-meansの解空間における追跡フレームワークを導入した。
• 収束分析に際して、現在のクラスタリングからすべての局所最適解の集合までの距離をリャプノフ型関数として用いた。
• k-means更新の幾何的性質を活用することで、目的関数の非微分可能性と非凸性を回避した。
• 特に、確率的勾配降下法におけるO(1/t)収束に関する結果を活用し、確率的近似および非凸最適化の道具を適用した。
• 確率的集中不等式と尾部不等式を用いて、望ましい収束行動からの逸脱確率を制御した。
• 最適クラスタからの点のサンプリング確率の新しい分析を用い、グローバル最適解への持続的進捗を保証した。

実験結果

リサーチクエスチョン

• RQ1 オンラインおよびミニバッチk-meansアルゴリズムのk-means目的関数における収束速度は何か？
• RQ2 なぜ確率的k-meansの変種は異なる局所最適解に収束するのか？また、ミニバッチサイズは最終的な解の品質にどのように影響するか？
• RQ3 ミニバッチk-meansがグローバル最適k-means解に収束する条件は何か？
• RQ4 k-means目的関数が非凸的かつ非微分可能であるにもかかわらず、収束速度を厳密に境界づけることは可能か？

主な発見

• 一般の条件下で、任意の初期解に対して、確率的k-meansはO(1/t)の速度でグローバルに局所最適解へ収束する。
• データがクラスタブルであり、単純なシーディング初期化が用いられる場合、ミニバッチk-meansは高確率で最適k-means解へO(1/t)の速度で収束する。
• 局所最適解の幾何的性質により、局所最適解に近づいた後も収束速度が維持される。この性質により、局所最適解からの脱出が防がれる。
• 更新ダイナミクスの幾何的特徴付けにより、k-means目的関数の非微分可能性と非凸性を効果的に扱うことに成功した。
• 最適解への収束確率は1−δ以上に下界付けられており、この下界はミニバッチサイズおよびデータ分布パラメータに明示的な依存関係を持つ。
• 理論的収束速度O(1/t)は、解空間における最近接局所最適解までの距離を用いて進捗を追跡するフレームワークにより、実証された。