[論文レビュー] Clustering using Max-norm Constrained Optimization

Ali Jalali, Nathan Srebro|arXiv (Cornell University)|Feb 25, 2012

Sparse and Compressive Sensing Techniques参考文献 24被引用数 25

ひとこと要約

本稿では、相関クラスタリングのための最大ノルム制約付き最適化フレームワークを提案し、核ノルム手法よりもタイトな凸緩和を実現する。より厳しいノイズ条件の下で真のクラスタリングの正確な回復を達成し、単一連結後処理ステップを用いることで性能が向上し、合成データおよび実世界データにおいてトレースノルム法やスペクトルクラスタリングを上回る。

ABSTRACT

We suggest using the max-norm as a convex surrogate constraint for clustering. We show how this yields a better exact cluster recovery guarantee than previously suggested nuclear-norm relaxation, and study the effectiveness of our method, and other related convex relaxations, compared to other clustering approaches.

研究の動機と目的

• 相関クラスタリングにおける正確なクラスタ回復保証を向上させるために、核ノルム緩和を最大ノルム制約に置き換えること。
• 非凸クラスタリング問題をよりよく近似するが計算的に扱いやすい凸最適化フレームワークを構築すること。
• 正確な回復が達成されない場合に、単一連結後処理ステップを用いてクラスタリング性能を向上させること。
• 本手法を、トレースノルム緩和およびスペクトルクラスタリングを含む既存手法と比較し、合成データおよび実世界データ上で評価すること。

提案手法

• クラスタリング行列に対する最大ノルム制約を課えたℓ₁損失の最小化として、相関クラスタリング問題を定式化する。
• 核ノルムよりもタイトな凸緩和として、最大ノルム（γ₂: ℓ₁ → ℓ∞）を用いることで、回復保証を向上させる。
• 非負行列Rと‖R‖∞,₂ ≤ 1を満たす因子分解K = RRᵀに基づく、完全正定値行列の集合に対応するよりタイトな緩和を提案する。
• 非凸最適化問題を、Rに関する交互最小化により解き、得られた行列に対して単一連結クラスタリングを実行する。
• 出力行列に対して単一連結アルゴリズムを適用し、有効なクラスタ構造を回復するための丸め処理としての役割を果たす。
• SLINK階層から、元の類似度行列Aとのℓ₁距離が最小となるクラスタリングを最適選択する。

実験結果

リサーチクエスチョン

• RQ1 最大ノルムは、相関クラスタリングにおける正確なクラスタ回復のため、核ノルムよりも優れた凸緩和を提供できるか？
• RQ2 ノイズレベルを変化させた条件下で、提案手法の最大ノルム制約付き最適化は、トレースノルム法やスペクトルクラスタリングと比べてどのように性能を発揮するか？
• RQ3 正確な回復が達成されない場合に、単一連結後処理ステップがクラスタリング精度をどの程度向上させるか？
• RQ4 完全正定値行列に基づくよりタイトな凸緩和は、MNISTのような実世界データにおいてもより優れた実験的性能を発揮するか？

主な発見

• 最大ノルム制約付き最適化は、核ノルム緩和よりも厳密に優れた正確な回復保証を提供し、ノイズの制限をより緩くする。
• 本手法は、バランス型およびアンバランス型の合成クラスタリングにおいて、トレースノルム法およびスペクトルクラスタリングと比較してクラスタリング誤差が低い。
• 正確な回復が失敗する高ノイズ条件下でも、最大ノルム法は真のクラスタリングに近いクラスタリングを生成し、バリエーション・オブ・インフォメーションで測定された結果が良好である。
• MNISTデータセットでは、トレースノルム法およびk-means後処理を施したスペクトルクラスタリングと比較して、本手法はより低いクラスタリング誤差と優れた時間計算量を達成する。
• 単一連結後処理ステップは、緩和最適化からの非整数値およびクラスタ構造を持たない出力を是正することで、回復品質を顕著に向上させる。