[論文レビュー] Incremental Clustering: The Case for Extra Clusters

Margareta Ackerman, Sanjoy Dasgupta|arXiv (Cornell University)|Jun 24, 2014

Advanced Clustering Algorithms Research参考文献 18被引用数 17

ひとこと要約

この論文は、標準的な仮定の下で、インクリメンタルクラスタリング手法が「良い」クラスタリング——各点が他のクラスターよりも自身のクラスターの中心に近い——を検出できないことを示している。しかし、追加のクラスターオンリーを許容することで、著者たちはそのようなクラスタリングの細分化を回復できるアルゴリズムを設計した。指数関数的成長（最大 $2^{k-1}$）が、『良い』$k$-クラスタリングを検出するために必要かつ十分であることを証明し、ランダムサンプリングによる追加の中心を用いることで、悪意ある順序付け下でも顕著なコアを持つクラスタリングを検出可能であることを示した。

ABSTRACT

The explosion in the amount of data available for analysis often necessitates a transition from batch to incremental clustering methods, which process one element at a time and typically store only a small subset of the data. In this paper, we initiate the formal analysis of incremental clustering methods focusing on the types of cluster structure that they are able to detect. We find that the incremental setting is strictly weaker than the batch model, proving that a fundamental class of cluster structures that can readily be detected in the batch setting is impossible to identify using any incremental method. Furthermore, we show how the limitations of incremental clustering can be overcome by allowing additional clusters.

研究の動機と目的

• インクリメンタルクラスタリング手法が特定のクラスタ構造を検出できる限界を形式的に分析すること。
• 標準的なインクリメンタル手法が、各点が自身のクラスターよりも他のクラスターに近いという『良い』クラスタリングを回復できない理由を特定すること。
• 追加のクラスターを許容することで、これらの限界を克服し、意味のあるクラスタ構造を検出可能かどうかを調査すること。
• さまざまな構造的仮定の下で、追加のクラスターを用いてターゲットクラスタリングの細分化を検出するアルゴリズムを設計・分析すること。
• 『良い』クラスタリングのインクリメンタル検出に必要な中心数の理論的下界を確立すること。

提案手法

• 対称的な距離関数を用いたインクリメンタルクラスタリングの形式的枠組みを提案し、クラスタリング、細分化、クラスタビリティなどの主要概念を定義する。
• 各点が自身のクラスターの中心よりも他のクラスターの中心に近いという『良い』クラスタリングの概念を導入し、それがいかなるインクリメンタル手法でも検出できないことを証明する。
• シングルリンククラスタリングとボトムアップ選択を用いて、$2^{k-1}$ 個の中心を維持するインクリメンタルアルゴリズムを設計し、各クラスターに少なくとも1つの代表点が保持されることを保証する。
• 『候補者』サブルーチンを導入し、単一連結階層のデンドログラムを走査して、根からの距離が $<k$ 未満の点を選択することで、点の集合を最大 $2^{k-1}$ 個の代表点にまで削減する。
• ランダムおよび悪意ある順序付けの下での逐次 $k$-means の分析を行い、十分な数の中心が使用されている場合、凸的『良い』クラスタリングの細分化を高確率で回復できることを示す。
• ランダムサブサンプリングアルゴリズムを提案し、$ \ell$ 個の中心を維持することで、悪意あるデータ順序下でも、点の $ \beta$-分数を占めるコアを持つクラスタリングの細分化を検出可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 インクリメンタルクラスタリング手法は、各点が自身のクラスターに他のクラスターの中心よりも近い『良い』クラスタリングを検出できるか？
• RQ2 インクリメンタルアルゴリズムが『良い』$k$-クラスタリングの細分化を検出するための最小中心数は何か？
• RQ3 悪意あるデータ順序下でも、顕著なコア（完全なクラスタではないが）を持つクラスタリングをインクリメンタル手法が検出できるか？
• RQ4 逐次 $k$-means の性能は、『良い』または凸的『良い』クラスタリングの細分化を検出する際、データ順序にどのように依存するか？
• RQ5 追加のクラスターを許容した場合、一般にインクリメンタル手法で検出可能なクラスタ構造のクラスは存在するか？

主な発見

• 『良い』$k$-クラスタリングを検出できるインクリメンタルクラスタリング手法は存在しない。これは定理 3.8 で証明されており、インクリメンタルモデルの根本的な限界を示している。
• 中心数が $2^{k-1}$ 個のインクリメンタルアルゴリズムは、任意の『良い』$k$-クラスタリングの細分化を検出可能である（定理 5.3）。このバウンドは定理 5.4 によりタイトである。
• 逐次 $k$-means アルゴリズムは、完全なクラスタリング（最小クラスタ間距離 > 最大クラスタ内径）を検出できない。これは定理 4.4 で述べられている。
• データがランダムに順序付けられている場合、中心数 $ \ell \geq \Omega((\log k)/\beta)$ を使用する逐次 $ \ell$-means は、凸的『良い』クラスタリングの細分化を確率 $1 - ke^{-\beta\ell}$ 以上で検出可能である（定理 5.6）。
• 悪意ある順序下でも、点の $ \beta$-分数を占めるコアを持つクラスタリングの細分化を検出するランダムサブサンプリングアルゴリズムは、確率 $1 - ke^{-\beta\ell}$ でその細分化を検出可能である（定理 5.10）。
• 『良い』クラスタリングを検出するための中心数に必要な指数関数的依存性（$2^{k-1}$）は避けられない。これは定理 5.4 で証明されている。