[論文レビュー] Clustering is difficult only when it does not matter

Amit Daniely, Nati Linial+1 more|arXiv (Cornell University)|May 22, 2012

Data Management and Algorithms参考文献 6被引用数 21

ひとこと要約

この論文は、クラスタリングが本質的に難しいという一般的な信念に挑戦し、クラスタリングが意味のあるものでない場合にのみ計算上の困難さが生じると主張する。メトリック空間における安定的で良好に分離されたクラスタリング—(α,γ)-クラスタリング条件によって定義される—に基づく理論的枠組みを導入し、このような良好なクラスタリングデータは、新規のアルゴリズムを用いて効率的に分割可能であることを証明する。これにより、理論的難易度と実践的妥当性の間のパラドックスが解消される。

ABSTRACT

Numerous papers ask how difficult it is to cluster data. We suggest that the more relevant and interesting question is how difficult it is to cluster data sets {\em that can be clustered well}. More generally, despite the ubiquity and the great importance of clustering, we still do not have a satisfactory mathematical theory of clustering. In order to properly understand clustering, it is clearly necessary to develop a solid theoretical basis for the area. For example, from the perspective of computational complexity theory the clustering problem seems very hard. Numerous papers introduce various criteria and numerical measures to quantify the quality of a given clustering. The resulting conclusions are pessimistic, since it is computationally difficult to find an optimal clustering of a given data set, if we go by any of these popular criteria. In contrast, the practitioners' perspective is much more optimistic. Our explanation for this disparity of opinions is that complexity theory concentrates on the worst case, whereas in reality we only care for data sets that can be clustered well. We introduce a theoretical framework of clustering in metric spaces that revolves around a notion of "good clustering". We show that if a good clustering exists, then in many cases it can be efficiently found. Our conclusion is that contrary to popular belief, clustering should not be considered a hard task.

研究の動機と目的

• クラスタリングが理論的には困難である一方で実務では可能であるという長年のパラドックスに対処すること。
• 最悪ケースのインスタンスではなく、『良い』クラスタリングに焦点を当てた、厳密な数学的枠組みを構築すること。
• 特にメトリック空間において、クラスタリングが計算的に扱いやすくなる条件を同定すること。
• 安定性と分離パラメータ (α, γ) を用いた『良い』クラスタリングの概念を形式化し、微小な摂動に対して頑健であることを保証すること。
• 意味のある安定したデータ構造に注目することで、理論的複雑性と実際のクラスタリング成功のギャップを埋めること。

提案手法

• （α,γ）-クラスタリング条件を導入：クラスタ Ci に属する任意の点 x に対して、x から Ci までの距離は、任意の他のクラスタ Cj (j≠i) までの距離の γ 倍以下であり、α はクラスタサイズを制御する。
• グリーディで代表点に基づくボロノイに類似した構成を用いて、多項式時間でメトリック空間を（α,γ）-クラスタに効率的に分割するアルゴリズムを提案する。
• 各クラスタが Oγ(log n) 個の点によって良好に近似可能であるような代表点選択戦略を採用し、ボロノイ図を用いた効率的なクラスタリングを実現する。
• 安定性解析を用いて、（α,γ）-クラスタリングが頑健であることを示す：メトリックの微小な摂動がクラスタ構造を保つ。
• MAXCUT にこの枠組みを適用し、METRIC-MAXCUT の (1+ε)-安定インスタンスが多項式時間で解けることを証明する。
• メトリック空間の構造的性質を活用して、クラスタリング問題を良好に分離された代表点集合の特定に還元する。

実験結果

リサーチクエスチョン

• RQ1 標準的な基準下でクラスタリングが NP 困難であるにもかかわらず、どのような条件下で計算的に可能となるのか？
• RQ2 『良い』クラスタリングを許容するデータに対して、理論的に妥当かつ効率的なクラスタリングアルゴリズムを設計できるか？
• RQ3 クラスタリングの安定性（例えば、メトリックの微小な摂動に対する耐性）は、その計算的扱いやすさとどのように関係するか？
• RQ4 安定な（α,γ）-クラスタリングを再構築するために必要な代表点の最小数は何か？
• RQ5 任意の n 点メトリック空間が 2 分割で γ(n)-分離クラスタを持つような、γ(n) の最大値はどの程度か？

主な発見

• 本論文は、メトリック空間に良い（α,γ）-クラスタリングが存在する場合、多項式時間アルゴリズムを用いて効率的に計算可能であることを証明した。これは、クラスタリングが難しいという一般的な信念に反する。
• アルゴリズムは n に対して多項式時間で動作し、α に依存せず γ のみに依存する。これは、クラスタの品質（α によるもの）が計算コストを増加させないことを示唆する。
• （3+ε）-クラスタがメトリック空間における球に等価であることが示され、良好に分離されたクラスタの幾何的特徴づけが得られた。
• この枠組みにより、（α,γ）-クラスタリングが安定していることが示された：メトリックの微小な摂動がクラスタ構造を保ち、γ の変化も僅かに抑えられる。
• 任意の ε > 0 に対して、METRIC-MAXCUT のすべての (1+ε)-安定インスタンスを多項式時間で解くアルゴリズムを確立した。これは、代表的なクラスタリング問題である。
• 1 クラスタあたり Oγ(log n) 個の代表点を必要とするが、これを Oγ(1) に削減可能かどうかは未解決であり、これにより決定的かつ α に依存しないアルゴリズムが得られる可能性がある。