[論文レビュー] Wasserstein $K$-means for clustering probability distributions

Yubo Zhuang, Xiaohong Chen+1 more|arXiv (Cornell University)|Sep 14, 2022

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本稿では、2-ワサーティン距離を用いた距離ベースのワサーティン $K$-meansクラスタリング手法を確率分布のクラスタリングに提案する。ワサーティン空間における非負の曲率のため、重心ベースのアプローチが失敗する問題を解決する。距離ベースの定式化の半定値計画（SDP）緩和が、良好に分離されたガウス混合分布に対して正確なクラスタ回復を達成できることを示し、画像データおよび分布データにおいて、標準的な $K$-meansよりも優れた性能を発揮することを示している。

ABSTRACT

Clustering is an important exploratory data analysis technique to group objects based on their similarity. The widely used $K$-means clustering method relies on some notion of distance to partition data into a fewer number of groups. In the Euclidean space, centroid-based and distance-based formulations of the $K$-means are equivalent. In modern machine learning applications, data often arise as probability distributions and a natural generalization to handle measure-valued data is to use the optimal transport metric. Due to non-negative Alexandrov curvature of the Wasserstein space, barycenters suffer from regularity and non-robustness issues. The peculiar behaviors of Wasserstein barycenters may make the centroid-based formulation fail to represent the within-cluster data points, while the more direct distance-based $K$-means approach and its semidefinite program (SDP) relaxation are capable of recovering the true cluster labels. In the special case of clustering Gaussian distributions, we show that the SDP relaxed Wasserstein $K$-means can achieve exact recovery given the clusters are well-separated under the $2$-Wasserstein metric. Our simulation and real data examples also demonstrate that distance-based $K$-means can achieve better classification performance over the standard centroid-based $K$-means for clustering probability distributions and images.

研究の動機と目的

• ワサーティン空間における非負のアレクサンドロフ曲率のため、重心ベースの $K$-meansの限界を解消すること。
• 重心に依存しない、距離ベースの $K$-means定式化を提案し、重心の正則性や非頑健性の問題を回避すること。
• 距離ベースの $K$-meansのSDP緩和が正確なクラスタ回復を達成する理論的条件を確立すること。
• 実験的に、距離ベースの手法が分布データおよび画像データにおいて、重心ベースの $K$-meansを上回ることを示すこと。

提案手法

• クラスタリング目的関数における確率分布間の距離測度として、$2$-ワサーティン距離を用いる。
• クラスタ内におけるペアワイズ $W_2$ 距離の最小化を目的とした距離ベースの $K$-means定式化を提案し、重心に依存しない。
• 計算的に扱いやすいように、距離ベースの $K$-means問題に半定値計画（SDP）緩和を適用する。
• SDP緩和の分析に、濃度不等式と行列摂動境界に基づく理論的枠組みを用いる。
• 最適化空間をクラスタに一致する成分と直交成分に分解し、誤差項をバインドする。
• ホーフィング型不等式と最大不等式を用いて、距離推定の乖離を制御する。

実験結果

リサーチクエスチョン

• RQ1 重心の失敗にもかかわらず、ワサーティン空間における距離ベースの $K$-means定式化が、重心ベースの $K$-meansを上回る性能を発揮できるか？
• RQ2 距離ベースの $K$-meansのSDP緩和が、ガウス混合分布に対して正確なクラスタ回復を達成する条件は何か？
• RQ3 ワサーティン空間の非凸性および曲率が、クラスタリングアルゴリズムの頑健性と一貫性に与える影響は何か？
• RQ4 距離ベースの $K$-meansアプローチは、画像や確率分布といった実世界のデータにおいて、より良い分類性能を発揮するか？

主な発見

• 良好に分離されたガウス混合分布に対して、SDP緩和された距離ベースの $K$-meansは、$2$-ワサーティン距離の下で正確なクラスタ回復を達成する。
• シミュレーションおよび実画像データの両方において、分類精度の観点で、標準的な重心ベースの $K$-meansを上回る性能を示した。
• 理論的分析により、距離ベースの定式化が、重心推定における曲率に起因する不安定性に対して頑健であることが示された。
• 距離推定の乖離に関する高確率的バインドを確立し、SDP緩和の一貫性を支持する。
• 実験結果により、距離ベースの手法が、ベクトル化された画像に対するユークリッド $K$-meansと比較して、画像データの幾何的構造をよりよく捉えていることが確認された。