[論文レビュー] Clustering is Easy When ....What?

Shai Ben-David|arXiv (Cornell University)|Oct 19, 2015

Data Management and Algorithms参考文献 15被引用数 5

ひとこと要約

この論文は、『クラスタリングは、それが重要でない場合にのみ難しい』（CDNM）仮説を批判的に検討し、実用的なデータにおいて効率的なクラスタリングアルゴリズムを可能にするために、既存のクラスタビリティの概念が十分であるかを評価する。その結果、一部のクラスタビリティ条件（例えば加法的摂動ロバストネス）は多項式時間で最適解を達成可能であるが、現実的でないほど強いパrameterを要するため、現在の理論は一般のクラスタリングタスクにおけるCDNM仮説を裏付けるのに不十分であることが判明した。

ABSTRACT

It is well known that most of the common clustering objectives are NP-hard to optimize. In practice, however, clustering is being routinely carried out. One approach for providing theoretical understanding of this seeming discrepancy is to come up with notions of clusterability that distinguish realistically interesting input data from worst-case data sets. The hope is that there will be clustering algorithms that are provably efficient on such "clusterable" instances. This paper addresses the thesis that the computational hardness of clustering tasks goes away for inputs that one really cares about. In other words, that "Clustering is difficult only when it does not matter" (the \emph{CDNM thesis} for short). I wish to present a a critical bird's eye overview of the results published on this issue so far and to call attention to the gap between available and desirable results on this issue. A longer, more detailed version of this note is available as arXiv:1507.05307. I discuss which requirements should be met in order to provide formal support to the the CDNM thesis and then examine existing results in view of these requirements and list some significant unsolved research challenges in that direction.

研究の動機と目的

• 理論的なクラスタビリティ条件が、現実世界のデータにおけるクラスタリングアルゴリズムの実用的効率を正当化できるかどうかを評価すること。
• クラスタリングが困難であるのはそれが重要でない場合に限るというCDNM仮説と、現在の理論的結果との間のギャップを特定すること。
• 提案されたクラスタビリティの概念が、現実的なデータに対して効率的かつ証明可能に正しいクラスタリングアルゴリズムを支えるかどうかを評価すること。
• CDNM仮説を正式に支持できない現在の理論的枠組みの欠陥を浮き彫りにすること。
• 固定kや固定目的関数に基づく定式化を超えて、クラスタリングを計算問題として再考するべきであることを提唱すること。

提案手法

• 加法的摂動ロバストネス、センター安定性、分離条件など、複数の形式的クラスタビリティ概念を、それらがアルゴリズム的結果に与える影響と関連づけて分析する。
• これらのクラスタビリティ条件が、最適または近似最適なクラスタリングを求める多項式時間アルゴリズムを可能にするかどうかを評価する。
• クラスタビリティ概念に必要な4つの主要要件（実用的関連性、アルゴリズム的効率、検証可能性、標準クラスタリングアルゴリズムとの整合性）を評価する。
• k-meansおよびk-medianクラスタリングにおける、さまざまなクラスタビリティ仮定の下での既存の結果をレビューする。
• 理論的保証と実際のクラスタリング挙動を比較し、特にクラスタ数kの役割に注目する。
• 見方の転換を提案：固定kや固定目的関数に基づく最適化を越えて、応用に即した柔軟なクラスタリングタスクをよりよく反映するように、クラスタリング問題の定式化を再考すること。

実験結果

リサーチクエスチョン

• RQ1 現在のクラスタビリティ概念は、実用的に意味のあるデータにおいて、どの程度効率的なクラスタリングアルゴリズムを支持できるか？
• RQ2 有望な仮定がなされているにもかかわらず、なぜ既存の理論的結果はCDNM仮説を裏付けるのに失敗しているのか？
• RQ3 現在のクラスタビリティ定義は、現実世界のデータ構造をどの程度正しく捉えられていないのか？
• RQ4 k-meansおよびk-medianに対して、現実的かつ計算的に扱いやすいクラスタビリティ条件を特定できるか？
• RQ5 クラスタリング問題の定式化をどのように見直すことで、柔軟で応用指向のクラスタリングタスクをよりよく反映できるか？

主な発見

• 任意の非ゼロのロバストネスパラメータを伴う加法的摂動ロバストネスは、強い仮定のもとでは多項式時間で最適クラスタリングを可能にするが、実用的でない。
• 現在提案されているクラスタビリティ条件のどれにも、クラスタ数kに関して多項式時間で最適クラスタリングを達成できるようなものはなく、パラメータが極めて良好に分離されたデータにのみ適用可能な値に設定される必要がある。
• センター安定性に関する理論的結果は、既知の実現可能性の閾値にほぼ一致しており、現在の境界がタイトで、容易に改善できない可能性があることを示唆している。
• 既存のクラスタビリティ概念は、CDNM仮説を支持するにはあまりに制限的であり、典型的な実用的データよりもはるかに構造的でなければならないと要求している。
• 理論的保証と実際のクラスタリング成功の不一致は、現在の理論的枠組みが現実世界のクラスタリングタスクを正確にモデル化していない可能性を示唆している。
• 本論文は、固定kや固定目的関数に基づく最適化としてのクラスタリングの標準的定式化が、現実応用における柔軟性を捉えるのに不十分である可能性を主張している。