[論文レビュー] Fast Discrete Distribution Clustering Using Wasserstein Barycenter with Sparse Support

Jianbo Ye, Panruo Wu+2 more|arXiv (Cornell University)|Sep 30, 2015

Anomaly Detection Techniques and Applications参考文献 55被引用数 7

ひとこと要約

本稿では、スパースなサポートを有する Wasserstein バリオセントラに基づき、離散確率分布のクラスタリングを高速かつスケーラブルに行うための AD2-クラスタリングを提案する。Bregman ADMM アルゴリズムを修正して近似的なバリオセントラを効率的に計算することで、大規模データにおいて高い精度と計算効率を達成し、特にスパースなヒストグラムやテキストドキュメントにおいて、既存の手法に比べてクラスタリング品質と速度の両面で優れている。

ABSTRACT

In a variety of research areas, the weighted bag of vectors and the histogram are widely used descriptors for complex objects. Both can be expressed as discrete distributions. D2-clustering pursues the minimum total within-cluster variation for a set of discrete distributions subject to the Kantorovich-Wasserstein metric. D2-clustering has a severe scalability issue, the bottleneck being the computation of a centroid distribution, called Wasserstein barycenter, that minimizes its sum of squared distances to the cluster members. In this paper, we develop a modified Bregman ADMM approach for computing the approximate discrete Wasserstein barycenter of large clusters. In the case when the support points of the barycenters are unknown and have low cardinality, our method achieves high accuracy empirically at a much reduced computational cost. The strengths and weaknesses of our method and its alternatives are examined through experiments, and we recommend scenarios for their respective usage. Moreover, we develop both serial and parallelized versions of the algorithm. By experimenting with large-scale data, we demonstrate the computational efficiency of the new methods and investigate their convergence properties and numerical stability. The clustering results obtained on several datasets in different domains are highly competitive in comparison with some widely used methods in the corresponding areas.

研究の動機と目的

• D2-クラスタリングに起因する高い計算コスト、特にクラスターセンタのための高価な Wasserstein バリオセントラ計算を軽減すること。
• Wasserstein 距離尺度に基づく、大規模な離散分布のクラスタリングのための効率的でスケーラブルなアルゴリズムの開発。
• 計算時間を短縮しつつ高いクラスタリング精度を維持することで、D2-クラスタリングの実用性を向上させること。
• テキストドキュメントや画像ヒストグラムのようなスパースで高次元のデータの効果的なクラスタリングを可能にすること。

提案手法

• 本手法は、クラスタの離散分布のための近似的な Wasserstein バリオセントラを計算するために、修正された Bregman ADMM（B-ADMM）アルゴリズムを採用する。
• 現実世界のデータに見られるサポートポイントのスパarsity を活用して計算複雑度を低減し、低基数のバリオセントラサポートに焦点を当てる。
• 最適化パラメータの手動チューニングを回避できるように、ロバストでパラメータフリーな設計がなされている。
• マルチコア環境向けに並列化されたバージョンが実装されており、数百の CPU にわたる高いスケーリング効率を達成している。
• 語彙埋め込みと bag-of-words 表現を統合することで、テキストクラスタリングにおける意味的モデリングを強化する。
• 直列実行および並列実行の両方で評価されており、収束性と数値的安定性の両面で優れた性能を示している。

実験結果

リサーチクエスチョン

• RQ1 大規模データにおいて、D2-クラスタリングにおける Wasserstein バリオセントラ計算の計算ボトル neck をどのように効果的に軽減できるか？
• RQ2 他のバリオセントラ計算手法（例：部分勾配法、エントロピー正則化、標準 ADMM）と比較して、修正された B-ADMM の速度、精度、安定性の相対的性能はいかほどか？
• RQ3 語彙埋め込みと bag-of-words 表現を組み合わせることで、短いまたはスパースなテキストドキュメントにおけるクラスタリング性能はどの程度向上するか？
• RQ4 バリオセントラのサポートサイズが、大規模クラスタリングにおける精度と計算コストのトレードオフにどのように影響するか？
• RQ5 修正された B-ADMM 法は、収束性と安定性を維持したまま、数百の CPU にわたって効率的に並列化可能か？

主な発見

• AD2-クラスタリングは、BBC ニュースおよび Wiki イベントデータセットの両方で、Tf-idf や LDA、NMF、平均ベクトルクラスタリングといったベースライン手法よりも高い調整ランダ指数（ARI）と調整相互情報量（AMI）を達成した。
• BBC ニュースアブストラクトデータセットでは、AMI が 0.759 に達し、次に優れた手法（平均ベクトル法で 0.753）を大きく上回った。Wiki イベントデータセットでは、AMI が 0.545 に達し、Tf-idf の 0.448 を上回った。
• 学習済み語彙埋め込みモデルを用いることで、顕著な性能向上が見られた。ランダムな埋め込みでは結果が悪く（AMI ≤ 0.369）、意味的モデリングの重要性が浮き彫りになった。
• 8 コアマシン上で大規模なスパースデータのクラスタリングを数分で完了させ、高い計算効率を示した。
• バリオセントラのサポートポイント数 $ m $ を 64 を超えて増加させても、さらなる性能向上が得られなかったため、$ m=64 $ が最適なトレードオフを達成するのに十分であると考えられる。
• 修正された B-ADMM 法は、他の手法と比較して優れた収束性と数値的安定性を示し、パラメータチューニングが不要であったため、導入が容易であった。