[論文レビュー] A tight lower bound instance for k-means++ in constant dimension

Anup Bhattacharya, Ragesh Jaiswal+1 more|arXiv (Cornell University)|Jan 13, 2014

Data Management and Algorithms参考文献 13被引用数 4

ひとこと要約

この論文は、k-means++シーディングアルゴリズムのタイトな下界を示す2次元データセットを提示している。このアルゴリズムは、確率的に指数的に小さい確率で $ O(\log k) $ の近似比を達成する。この構成により、低次元におけるアルゴリズムの性能に関する未解決問題が解け、定数次元でもk-means++が高確率で失敗する可能性があることが示された。

ABSTRACT

The k-means++ seeding algorithm is one of the most popular algorithms that is used for finding the initial $k$ centers when using the k-means heuristic. The algorithm is a simple sampling procedure and can be described as follows: Pick the first center randomly from the given points. For $i > 1$, pick a point to be the $i^{th}$ center with probability proportional to the square of the Euclidean distance of this point to the closest previously $(i-1)$ chosen centers. The k-means++ seeding algorithm is not only simple and fast but also gives an $O(\log{k})$ approximation in expectation as shown by Arthur and Vassilvitskii. There are datasets on which this seeding algorithm gives an approximation factor of $Ω(\log{k})$ in expectation. However, it is not clear from these results if the algorithm achieves good approximation factor with reasonably high probability (say $1/poly(k)$). Brunsch and Röglin gave a dataset where the k-means++ seeding algorithm achieves an $O(\log{k})$ approximation ratio with probability that is exponentially small in $k$. However, this and all other known lower-bound examples are high dimensional. So, an open problem was to understand the behavior of the algorithm on low dimensional datasets. In this work, we give a simple two dimensional dataset on which the seeding algorithm achieves an $O(\log{k})$ approximation ratio with probability exponentially small in $k$. This solves open problems posed by Mahajan et al. and by Brunsch and Röglin.

研究の動機と目的

• k-means++が低次元データセットにおいて高確率で悪い近似を達成できるかどうかという未解決問題を閉じること。
• 特に2次元において、定数次元におけるk-means++のタイトな下界インスタンスを提供すること。
• アルゴリズムの期待的な $ O(\log k) $ の近似保証が、低次元において定数確率で良好な性能を示さないことを示すこと。
• MahajanらとBrunsch・Röglinが提起した長年の未解決問題、すなわち平面（2次元）設定におけるk-means++の挙動を解消すること。

提案手法

• 最悪ケースの挙動を模倣するように設計された、クラスタリングされた点と1つの外れ値を含む2次元データセットを構築する。
• マルコフ連鎖モデルを用いてk-means++のシーディングプロセスを分析し、遠く離れたセンターが選ばれる確率を追跡する。
• Hoeffdingの不等式を用いて、$ k-1 $ ステップ以内に良いセンター集合が選ばれない確率の尾部確率を評価する。
• 良い構成に到達するまでの期待ステップ数の下界を確立し、これが $ k $ に対して多項式より速く増加することを示す。
• 確率的集中不等式と漸近的解析を活用して、成功確率が $ k $ に対して指数的に減少することを示す。
• アルゴリズムの近似比が $ \delta \cdot \log k $ 以下である確率が $ \exp(-(k-1)^{1-o(1)-120\delta}) $ 以下であることを証明する。これは指数的に小さい。

実験結果

リサーチクエスチョン

• RQ1 k-means++は、期待的な $ O(\log k) $ の保証があるにもかかわらず、低次元データセットにおいて高確率で悪い近似比を達成できるか？
• RQ2 k-means++が $ k $ に対して指数的に小さい確率で良い近似を達成できない2次元データセットは存在するか？
• RQ3 期待近似が有界であっても、定数次元においてアルゴリズムの性能は著しく劣化するのか？
• RQ4 k-means++のタイトな下界インスタンスを2次元で構築でき、先行研究における未解決問題を解消できるか？
• RQ5 低次元空間における中心数とk-means++の成功確率の正確なトレードオフは何か？

主な発見

• この論文は、k-means++が $ O(\log k) $ の近似比を達成する確率が $ \exp(-(k-1)^{1-o(1)-120\delta}) $ 以下である2次元データセットを構築した。これは $ k $ に対して指数的に小さい。
• MahajanらとBrunsch・Röglinによる未解決問題を解決し、定数次元でもk-means++が高確率で失敗する可能性があることを示した。
• 失敗確率は期待値の問題ではなく、指数的に小さい成功確率として現れるため、強い下界を示している。
• 解析により、期待的な $ O(\log k) $ の近似保証が、低次元において高確率での性能を示唆しないことが明らかになった。
• 構築されたインスタンスはタイトであり、期待的に達成可能な $ O(\log k) $ の近似要因が最良であり、その下限が $ k $ に対して指数的に小さい失敗確率と一致している。
• この結果により、k-means++の低次元における性能は、高次元で観察される同じ最悪ケースの挙動によって本質的に制限されており、2次元設定でも同様の制限が成立することが証明された。