[論文レビュー] Computational Feasibility of Clustering under Clusterability Assumptions

Shai Ben-David|arXiv (Cornell University)|Jan 2, 2015

Data Management and Algorithms参考文献 16被引用数 19

ひとこと要約

この論文は、さまざまなクラスタビリティ仮定の下でクラスタリングが計算的に実行可能になるかどうかを批判的に評価し、摂動ロバストネスや安定性といった概念を調査している。結論として、『クラスタリングは、それが重要でない場合にのみ難しい』（CDNM）仮説は、現在のクラスタビリティ定義がk-meansやk-medianのような一般的な目的関数に対して多項式時間の最適クラスタリングを一貫して可能にしないため、形式的裏付けが欠けていることが示された。

ABSTRACT

It is well known that most of the common clustering objectives are NP-hard to optimize. In practice, however, clustering is being routinely carried out. One approach for providing theoretical understanding of this seeming discrepancy is to come up with notions of clusterability that distinguish realistically interesting input data from worst-case data sets. The hope is that there will be clustering algorithms that are provably efficient on such 'clusterable' instances. In other words, hope that "Clustering is difficult only when it does not matter" (CDNM thesis, for short). We believe that to some extent this may indeed be the case. This paper provides a survey of recent papers along this line of research and a critical evaluation their results. Our bottom line conclusion is that that CDNM thesis is still far from being formally substantiated. We start by discussing which requirements should be met in order to provide formal support the validity of the CDNM thesis. In particular, we list some implied requirements for notions of clusterability. We then examine existing results in view of those requirements and outline some research challenges and open questions.

研究の動機と目的

• クラスタビリティ仮定が、クラスタリングアルゴリズムの実用的効率を形式的に正当化できるかどうかを評価すること。
• CDNM仮説（クラスタリングは、それが重要でない場合にのみ難しい）を支持するための、クラスタビリティ概念に必要な基準を特定すること。
• 摂動ロバストネス、安定性、分離性といった既存のクラスタビリティ定義を、これらの基準に対して評価すること。
• 現実的で構造的なデータにおけるクラスタリングの理論的支援のギャップを浮き彫りにすること。
• k-meansおよびk-median目的関数の効率的最適化とクラスタビリティを結びつける未解決問題を特定すること。

提案手法

• 加法的・乗法的摂動ロバストネス、(α,ε)-レジリエンス、最適解の一意性を含む10以上の形式的クラスタビリティ概念を調査・分析すること。
• 現実性、計算的実行可能性、実用的クラスタリングとの整合性という、必要な性質のセットに対して各クラスタビリティ概念を評価すること。
• k-meansおよびk-median目的関数の最適化とクラスタビリティの関係を検討すること。
• これらの仮定の下で、クラスタリングアルゴリズムが最適または近似的最適な解を保証できるかどうかを評価すること。
• 木の刈り込みにおいて良いクラスタ構造を保存する方法としての連結型階層的クラスタリングを調査すること。
• クラスタビリティ下での近似アルゴリズムを分析し、それが近似ではなく正確な解を達成する条件を特定すること。

実験結果

リサーチクエスチョン

• RQ1 どのクラスタビリティ仮定の下で、k-meansまたはk-medianクラスタリングを多項式時間で解くことができるか？
• RQ2 既存のクラスタビリティ概念が、『良い』クラスタリングが標準的目的関数の最適解であることをどの程度保証するか？
• RQ3 さまざまなクラスタビリティ条件の下で、連結型階層的クラスタリングアルゴリズムが、刈り込みによって最適クラスタリングを保存できるかどうかを保証できるか？
• RQ4 αセンター安定性のようなクラスタビリティ条件が、ユークリッド空間でNP困難性を引き起こすパラメータ値は何か？
• RQ5 標準的な近似アルゴリズム（例：線形計画法の緩和）が、どのクラスタビリティ条件下で正確な最適解をもたらすか？

主な発見

• CDNM仮説—『クラスタリングは、それが重要でない場合にのみ難しい』—は、現在のクラスタビリティ概念がk-meansやk-medianに対して多項式時間の最適性を形式的に保証しない限り、未だ証明されていない。
• すべてのクラスタビリティ概念の中で、唯一αセンター安定性に意味のあるNP困難性の下界が存在するが、それさえもユークリッド空間には適用されない。
• 『良い』クラスタリングがk-meansやk-medianの最適解であることを保証するような既知のクラスタビリティ条件は存在せず、そのような解が一意であるとも限らない。
• 連結型階層的クラスタリングは、(1+√2)-センター安定性のような特定の仮定の下でのみ、最適クラスタリングを保存できるが、他の概念には一般に成立しない。
• 既存の近似アルゴリズムは、仮定が極めて強い場合を除き、クラスタビリティ下で正確な解を達成せず、一般には保証がない。
• クラスタ数や目的関数が固定でない柔軟なクラスタリングについての理論的支援は、実用的関連性が高いために依然として不足している。