[論文レビュー] Large Scale Correlation Clustering Optimization

Shai Bagon, Meirav Galun|arXiv (Cornell University)|Dec 13, 2011

Bayesian Methods and Mixture Models参考文献 21被引用数 56

ひとこと要約

本稿では、相関クラスタリングのためのスケーラブルな最適化アルゴリズムを提案する。この手法は確率的解釈とPottsモデルとの類似性を活用し、自動的なモデル選択と100,000変数を超えるスケーラビリティを実現する。本手法は、事前にクラスタ数を指定せずにクラスタ割り当てとクラスタ数の推定を同時に最適化することで、教師なし顔認識およびインタラクティブなマルチオブジェクトセグメンテーションにおいて最先端の性能を達成する。

ABSTRACT

Clustering is a fundamental task in unsupervised learning. The focus of this paper is the Correlation Clustering functional which combines positive and negative affinities between the data points. The contribution of this paper is two fold: (i) Provide a theoretic analysis of the functional. (ii) New optimization algorithms which can cope with large scale problems (>100K variables) that are infeasible using existing methods. Our theoretic analysis provides a probabilistic generative interpretation for the functional, and justifies its intrinsic "model-selection" capability. Furthermore, we draw an analogy between optimizing this functional and the well known Potts energy minimization. This analogy allows us to suggest several new optimization algorithms, which exploit the intrinsic "model-selection" capability of the functional to automatically recover the underlying number of clusters. We compare our algorithms to existing methods on both synthetic and real data. In addition we suggest two new applications that are made possible by our algorithms: unsupervised face identification and interactive multi-object segmentation by rough boundary delineation.

研究の動機と目的

• 相関クラスタリング関数の厳密な確率的生成的解釈を提供し、その内在的なモデル選択能力を正当化すること。
• 既存の凸緩和法では処理が困難な大規模問題（100,000変数以上）を扱えるスケーラブルな最適化アルゴリズムの開発。
• 相関クラスタリングとPottsモデルとの類似性を活用し、クラスタ数を自動で回復できる効率的な離散最適化アルゴリズムの設計。
• コンピュータビジョン分野における新規応用の実現、特に教師なし顔認識および粗い境界からのインタラクティブマルチオブジェクトセグメンテーション。

提案手法

• 本稿では、ペアワイズ類似度がクラスタ固有の分布から抽出される生成的確率的モデルを導出し、このモデル下で相関クラスタリング関数が最大後確信度推定値として正当化される。
• 相関クラスタリング関数と離散Pottsエネルギーとの類似性を確立し、高度な離散最適化技術の適用を可能にする。
• 非部分モジュラーなエネルギー、未知のクラスタ数、および単一項の欠如に対応できる新しい離散最適化アルゴリズム（例：適応的ラベルICM、Swap-and-Explore）を提案する。
• 信念伝搬と局所探索戦略を用いて解空間を効率的に探索しながら、モデル選択性を保持する。
• ペアワイズ類似度の信頼度を表現するために、学習されたマハラノビス距離と対数オッズ変換を用いて類似度を導出する。
• 大規模データ上で相関クラスタリング関数を直接最適化することで、ロバストなクラスタリングと自動的なクラスタ数推定を統合する。

実験結果

リサーチクエスチョン

• RQ1 相関クラスタリング関数はどのように確率的に解釈可能であり、その解釈はモデル選択能力にどのような意味を持つのか？
• RQ2 相関クラスタリングとPottsモデルとの関係は何か？この類似性は最適化をどのように改善できるか？
• RQ3 非部分モジュラーで非凸的かつ制約なしのCC関数を大規模スケールで扱えるように、離散最適化技術をどのように適合できるか？
• RQ4 提案されたアルゴリズムは事前に指定のない状況でも真のクラスタ数を自動で回復できるか？また、既存手法と比較してどう異なるか？
• RQ5 相関クラスタリングを大規模に最適化し、自動モデル選択を可能にした場合、どのような新しいコンピュータビジョン分野の応用が可能になるか？

主な発見

• 確率的解釈により、相関クラスタリングの内在的なモデル選択性が正当化され、生成モデルの下では自然にクラスタ数が少ない解が好まれることが示された。
• Pottsモデルとの類似性により、100,000変数を超えるスケーラビリティを実現する効率的な離散最適化アルゴリズムの設計が可能になり、従来の凸緩和法の制限を克服した。
• 特に適応的ラベルICMとSwap-and-Exploreは、複数のテストセット（k=15～35）において高いクラスタ純度を達成し、真の人数を正確に回復した。
• 教師なし顔認識の文脈では、本手法は正しく異なる個体数（k′ ≈ k）を特定し、純度が高い結果を得た。これは連結成分法やスペクトルギャップに基づく手法を上回る性能を示した。
• 本手法により、粗い境界からのインタラクティブマルチオブジェクトセグメンテーションや、未観測の個体の教師なし顔クラスタリングといった新規応用が可能になった。
• 実行時間評価では、適応的ラベルICMが他の手法に比べて著しく高速でありながら、同等の精度を維持した。