[論文レビュー] Projection Robust Wasserstein Barycenters

Minhui Huang, Shiqian Ma+1 more|arXiv (Cornell University)|Feb 5, 2021

Anomaly Detection Techniques and Applications被引用数 2

ひとこと要約

本稿では、 Wasserstein バリオセントル計算における次元の呪いを軽減するため、投影頑健 Wasserスタイン バリオセントル (PRWB) を提案する。測度をバリオセントル目的関数を最大化する低次元部分空間に投影することで、緩和された PRWB (RPRWB) モデルは、Stiefel 多様体上の max-min 問題として効率的に計算可能となり、実際のテキストデータセットにおけるクラスタリング性能が向上する。

ABSTRACT

Collecting and aggregating information from several probability measures or histograms is a fundamental task in machine learning. One of the popular solution methods for this task is to compute the barycenter of the probability measures under the Wasserstein metric. However, approximating the Wasserstein barycenter is numerically challenging because of the curse of dimensionality. This paper proposes the projection robust Wasserstein barycenter (PRWB) that has the potential to mitigate the curse of dimensionality. Since PRWB is numerically very challenging to solve, we further propose a relaxed PRWB (RPRWB) model, which is more tractable. The RPRWB projects the probability measures onto a lower-dimensional subspace that maximizes the Wasserstein barycenter objective. The resulting problem is a max-min problem over the Stiefel manifold. By combining the iterative Bregman projection algorithm and Riemannian optimization, we propose two new algorithms for computing the RPRWB. The complexity of arithmetic operations of the proposed algorithms for obtaining an $\epsilon$-stationary solution is analyzed. We incorporate the RPRWB into a discrete distribution clustering algorithm, and the numerical results on real text datasets confirm that our RPRWB model helps improve the clustering performance significantly.

研究の動機と目的

• 高次元空間における Wasserstein バリオセントルの計算に伴う数値的課題、特に次元の呪いに起因する問題を解決すること。
• 計算的に高コストな投影頑健 Wasserstein バリオセントル (PRWB) のより取り扱いやすい代替手法を開発すること。
• 低次元部分空間上で最適化することでバリオセントルの品質を保持する、緩和された PRWB (RPRWB) モデルを定式化すること。
• 反復的 Bregman 投影とリーマン幾何学的最適化を組み合わせた効率的なアルゴリズムを設計し、RPRWB 問題を解くこと。

提案手法

• RPRWB を Stiefel 多様体上の max-min 最適化問題として定式化し、バリオセントル目的関数を最大化するように投影部分空間を最適化する。
• 反復的 Bregman 投影を用いて、投影空間における Wasserstein バリオセントルの計算を処理する。
• リーマン最適化技術を用いて、Stiefel 多様体上での部分空間選択問題を解く。
• 2 つのコンponents を統合し、RPRWB を計算する 2 つの新しいアルゴリズムを構築し、収束保証を付与する。
• 得られたアルゴリズムの算術的複雑度を解析し、ϵ-停留解を達成するための性能を評価する。
• 実際のテキストデータセットにおける性能評価を目的として、RPRWB を離散確率分布のクラスタリングフレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 投影頑健な定式化は、高次元における Wasserstein バリオセントル計算の計算負荷を軽減できるか？
• RQ2 実世界のデータにおいて、RPRWB モデルは標準的な Wasserstein バリオセントルと比べてクラスタリング精度が向上するか？
• RQ3 RPRWB 問題の ϵ-停留解を達成するための計算複雑度はどの程度か？
• RQ4 次元削減を伴いながらも、RPRWB モデルはバリオセントルの品質を維持または向上させることができるか？

主な発見

• 標準的な Wasserstein バリオセントル手法と比較して、RPRWB モデルは実際のテキストデータセットにおいて顕著なクラスタリング性能の向上を達成した。
• 提案されたアルゴリズムは、解析可能な算術的複雑度を備えており、スケーラビリティを実現した。
• RPRWB の緩和により、計算効率とバリオセントル品質の両立を図れる取り扱いやすい定式化が可能になった。
• クラスタリングアルゴリズムに RPRWB を統合することで、クラスタリング精度の明確な向上が得られた。