[論文レビュー] Convex Relaxations of Bregman Divergence Clustering

Hao Cheng, Xinhua Zhang+1 more|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 39被引用数 5

ひとこと要約

この論文は、不均衡な設定でも品質と頑健性を向上させるために正規化された同値関係を活用する、Bregman散発のクラスタリングのための新しい凸緩和法のクラスを導入する。暗黙の行列ノルム最適化を活用することで、最先端の手法よりもタイトでより正確なクラスタリングを達成しつつ、スケーラビリティを維持する。

ABSTRACT

Although many convex relaxations of clustering have been proposed in the past decade, current formulations remain restricted to spherical Gaussian or discriminative models and are susceptible to imbalanced clusters. To address these shortcomings, we propose a new class of convex relaxations that can be flexibly applied to more general forms of Bregman divergence clustering. By basing these new formulations on normalized equivalence relations we retain additional control on relaxation quality, which allows improvement in clustering quality. We furthermore develop optimization methods that improve scalability by exploiting recent implicit matrix norm methods. In practice, we find that the new formulations are able to efficiently produce tighter clusterings that improve the accuracy of state of the art methods.

研究の動機と目的

• 既存の凸緩和法が球対称ガウス分布や判別モデルに限定されており、不均衡なクラスタに敏感であるという限界を是正すること。
• 標準的な球対称モデルを超えて、一般のBregman散発に適用可能な柔軟なフレームワークを開発すること。
• 正規化された同値関係を用いることで緩和の品質を向上させ、クラスタリングの忠実度をよりよく制御すること。
• 最近の暗黙の行列ノルム最適化技術を統合することでスケーラビリティを向上させること。
• 実世界のデータにおいて、最先端の手法と比較してよりタイトで正確なクラスタリングを達成すること。

提案手法

• 構造的制約を保持するために、正規化された同値関係を用いてBregman散発のクラスタリングを凸最適化問題として定式化する。
• 球対称ガウスの仮定を越えて一般化できる、新しい凸緩和法のクラスを導入する。
• 最適化の高速化とスケーラビリティの向上のため、暗黙の行列ノルム最小化を採用する。
• 非凸のクラスタリング目的関数を、強い理論的保証を維持する凸の代替関数に置き換える。
• スチェット p-ノルム緩和を用いて類似度行列のランクを近似し、計算を効率化する。
• 交替方向乗数法（ADMM）や同様の一次元法を用いて緩和問題を最適化する。

実験結果

リサーチクエスチョン

• RQ1 Bregman散発のクラスタリングの凸緩和法は、球対称ガウスモデルを超えて一般化可能か？
• RQ2 正規化された同値関係を組み込むことで、緩和の品質とクラスタリングの正確性はどのように向上するか？
• RQ3 暗黙の行列ノルム手法を用いることで、クラスタリングの忠実度を損なわずにどの程度スケーラビリティが向上するか？
• RQ4 提案手法は、既存の凸緩和法と比較して不均衡なクラスタリングタスクでどの程度の性能を示すか？
• RQ5 実際の応用において、新しい定式化は最先端の手法よりもタイトなクラスタリングを達成できるか？

主な発見

• 提案された凸緩和フレームワークは、ベンチマークデータセットにおいて、既存の手法よりも著しくタイトなクラスタリングを達成する。
• 不均衡なクラスタ分布に対して優れた頑健性を示し、このような状況下で標準的な凸緩和法を上回る性能を発揮する。
• 正規化された同値関係を活用することで、緩和の品質が向上し、より正確なクラスタリング結果が得られる。
• 暗黙の行列ノルム最適化の統合により、スケーラブルなソリューションが実現され、大規模データセットに対しても実用的である。
• 実験結果から、提案手法は実世界のデータにおいて、最先端の凸クラスタリング定式化を上回る精度を達成することが示された。
• 非凸ベースラインと比較して、競争力のある、あるいは優れた性能を発揮しながらも、理論的保証を維持している。