[論文レビュー] How the initialization affects the stability of the k-means algorithm

Sébastien Bubeck, Marina Meilă+1 more|ArXiv.org|Jul 31, 2009

Advanced Clustering Algorithms Research参考文献 10被引用数 5

ひとこと要約

この論文は、実際のk-meansアルゴリズムにおける初期化が安定性に与える影響を調査し、真のクラスタごとに1つのセンターを初期化する（K′ = K）場合、k-meansは安定しており、正しいクラスタリングに収束することを示している。真のクラスタ数より多くのセンターを初期化する（K′ > K）場合、初期設定のばらつきにより不安定性が生じ、これが実世界の応用において安定性に基づくモデル選択が真のクラスタ数を的確に特定できる理由を説明している。

ABSTRACT

We investigate the role of the initialization for the stability of the k-means clustering algorithm. As opposed to other papers, we consider the actual k-means algorithm and do not ignore its property of getting stuck in local optima. We are interested in the actual clustering, not only in the costs of the solution. We analyze when different initializations lead to the same local optimum, and when they lead to different local optima. This enables us to prove that it is reasonable to select the number of clusters based on stability scores.

研究の動機と目的

• 目的関数の値ではなく、実際のk-meansアルゴリズムにおける初期化の影響が安定性に与える影響を理解すること。
• 従来、グローバルに最適なk-meansアルゴリズムを仮定する理論的枠組みに欠落していた、クラスタリングの安定性に関する理論的理解のギャップを埋めること。
• 初期化の役割が、k-meansが同じまたは異なる局所最適解に収束するかどうかを決定するメカニズムを分析すること。
• クラスタ数kの選定に安定性に基づくモデル選択が実用的に成功する理由を検証すること。
• 初期センターの配置に基づいてk-meansの局所最適解の「吸引領域」を特徴づける、画期的な理論的枠組みを構築すること。

提案手法

• 1次元のガウス混合分布を用いて、異なる初期設定下でのk-meansの挙動を分析する。
• 「初期設定」という概念を導入し、それが最終的なクラスタリング結果を決定づける主要因であることを示す。
• K′ = K かつ真のクラスタごとに1つのセンターが初期配置されている場合、アルゴリズムが安定し、正しいクラスタリングに収束することを証明する。
• K′ > K の場合、初期設定のばらつきにより異なる最終的なクラスタリングが得られることを示し、不安定性を実証する。
• 各真のクラスタに少なくとも1つのセンターが高確率で配置される非一様な初期化スキームを提案し、その有効性を証明する。
• 配置に基づく議論と集中不等式を用いて、1次元のガウス混合分布における収束挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 k-meansアルゴリズムが複数回の実行で同じクラスタリングに収束するような初期化条件は何か？
• RQ2 なぜ実際の応用において、k-meansの安定性に基づくモデル選択がしばしば真のクラスタ数を的確に特定できるのか？
• RQ3 初期センター数（K′）が真のクラスタ数（K）に対してどのように影響を与えるかが、k-meansクラスタリングの安定性に与える影響は何か？
• RQ4 非一様な初期化スキームは、各真のクラスタに少なくとも1つのセンターが高確率で配置されるように保証できるか？
• RQ5 真のクラスタが明確に分離されている場合でも、初期化の影響によりk-meansが不安定になる理論的条件は何か？

主な発見

• 2つの1次元ガウス混合分布に対して、k-meansは正確に2つのセンターで初期化された場合（K′ = K）に安定するが、3つのセンターで初期化された場合（K′ > K）には不安定になる。
• 安定性は初期設定に強く依存する：真のクラスタごとに1つのセンターが初期に配置されていれば、アルゴリズムは安定を保つ。
• K′ > K の場合、初期設定の違いが異なる最終的クラスタリングを生じさせ、結果として不安定性が生じる。
• リスタートなしの標準k-meansアルゴリズムは、リスタートありの場合と同等の安定性を示し、リスタートが安定性を高めるという直観とは矛盾する。
• 非一様な初期化スキームは、一様なランダム初期化とは異なり、各真のクラスタに少なくとも1つのセンターが高確率で配置されることを証明した。
• 本論文は、初期センター配置に基づく局所最適解の「吸引領域」を理論的に特徴づける初の研究である。