[論文レビュー] Convex Clustering via Optimal Mass Transport

Francesca Carli, Lipeng Ning+1 more|arXiv (Cornell University)|Jul 20, 2013

Sparse and Compressive Sensing Techniques参考文献 14被引用数 7

ひとこと要約

本稿では、スパースサポート上の基数罰則を伴う最適輸送を用いて標本分布を近似することで、クラスタリングのための凸最適化フレームワークを提案する。和ノルムの緩和化を導入し、基数罰則の最もタイトな凸下界近似を提供することで、初期値に依存しない頑健なクラスタリングを実現し、数値実験において $∞ll_∞$-ベースおよび $∞ll_1$-ベースの代替手法を上回る性能を示す。

ABSTRACT

We consider approximating distributions within the framework of optimal mass transport and specialize to the problem of clustering data sets. Distances between distributions are measured in the Wasserstein metric. The main problem we consider is that of approximating sample distributions by ones with sparse support. This provides a new viewpoint to clustering. We propose different relaxations of a cardinality function which penalizes the size of the support set. We establish that a certain relaxation provides the tightest convex lower approximation to the cardinality penalty. We compare the performance of alternative relaxations on a numerical study on clustering.

研究の動機と目的

• スパースサポート上の分布近似を用いた最適輸送により、標本分布を近似することで、データのクラスタリングに取り組むこと。
• $∞ll_1$ 正則化の限界を克服すること。確率単体上ではノルムが常に1であるため、スパarsityを促進できない。
• クラスタ代表分布におけるスパarsityを効果的に促進する、基数罰則の凸緩和化を考案すること。
• 合成クラスタリングタスクにおける異なる緩和化手法（和ノルム、整数プログラミング、$∞ll_\infty$-ノルム）の性能を比較すること。
• 和ノルム緩和化が、元の基数罰則の最もタイトな凸下界近似であることを確立すること。

提案手法

• 標本分布とスパースサポート分布との間の距離を最小化するウォッサーシュタイン距離に基づく最適化問題としてクラスタリングを定式化する。
• 基数罰則を最適輸送計画行列を介して表現し、輸送計画に対する和ノルムによる凸緩和を可能にする。
• 輸送計画行列に対する和ノルム罰則を導入し、基数関数のタイトな凸下界近似となる凸緩和化を提供する。
• スパarsityをモデル化するための補助バイナリ変数を用いた代替の整数プログラミング緩和化を提案する。
• 比較のため、先行研究から適応した $∞ll_\infty$-ノルム緩和化を採用するが、スパarsityの促進効果は限定的である。
• 得られた凸最適化問題を標準的な数値手法で解き、解のサポートからクラスタ代表を導出する。

実験結果

リサーチクエスチョン

• RQ1 スパースサポート上に基数罰則を伴う最適輸送は、クラスタリングのための原理的枠組みを提供できるか？
• RQ2 標準的な $∞ll_1$ 正則化は、確率単体上ではなぜスパarsityを促進できないのか？ その限界をどのように克服できるか？
• RQ3 基数罰則のどの凸緩和化が最もタイトな近似を提供し、最良のクラスタリング性能を達成するか？
• RQ4 和ノルム、整数プログラミング、$∞ll_\infty$ の各緩和化手法は、真のクラスタ構造の回復においてどのように比較されるか？
• RQ5 k-meansとは異なり、このフレームワークは初期値に依存しない安定したクラスタリング結果を生み出せるか？

主な発見

• 和ノルム緩和化は、論文で示されたように、基数罰則の最もタイトな凸下界近似を提供する。
• 3クラスタの合成データセットにおいて、和ノルムおよび整数プログラミングの緩和化は、$λ$ のさまざまな値において正しくクラスタを回復するが、$∞ll_\infty$-ベースの手法は3クラスタ分割を達成できない。
• 10クラスタの合成データセットにおいて、和ノルムおよび整数プログラミングの緩和化は真のクラスタ構造を効果的に回復するが、$∞ll_\infty$-ベースの手法は、正しい10クラスタ分割を一度も達成しない。
• $∞ll_\infty$-ノルム緩和化は、スパarsityの促進に劣り、中間の $λ$ 値でも複数のクラスタを明確に分離できない。
• 提案されたフレームワークは、凸最適化の定式化のおかげで、初期値に依存しない安定したクラスタリング結果を生み出す。k-meansとは異なり、この点で優位である。
• 数値結果から、和ノルム緩和化が、クラスタリング精度および構造回復の両面で、他の緩和化手法を一貫して上回ることが示された。