[論文レビュー] Dimensionality Reduction for Wasserstein Barycenter

Zachary Izzo, Sandeep Silwal+1 more|arXiv (Cornell University)|Oct 18, 2021

Topological and Geometric Data Analysis参考文献 14被引用数 5

ひとこと要約

この論文は、元の次元 $d$ や分布の数 $k$ に依存しない最適な次元削減バインドを達成するため、ランダムな射影と Kirszbraun の定理を活用することで、支持点の数が $n$ である Wasserstein バリオセントラの問題に対する次元削減技術を提案している。この手法により、高次元の確率分布を $O(\log n)$ 次元の空間に射影し、任意の誤差範囲内でバリオセントラのコストを保持することができる。この結果、解の品質を損なわずに高速な計算が可能になる。

ABSTRACT

The Wasserstein barycenter is a geometric construct which captures the notion of centrality among probability distributions, and which has found many applications in machine learning. However, most algorithms for finding even an approximate barycenter suffer an exponential dependence on the dimension $d$ of the underlying space of the distributions. In order to cope with this "curse of dimensionality," we study dimensionality reduction techniques for the Wasserstein barycenter problem. When the barycenter is restricted to support of size $n$, we show that randomized dimensionality reduction can be used to map the problem to a space of dimension $O(\log n)$ independent of both $d$ and $k$, and that \emph{any} solution found in the reduced dimension will have its cost preserved up to arbitrary small error in the original space. We provide matching upper and lower bounds on the size of the reduced dimension, showing that our methods are optimal up to constant factors. We also provide a coreset construction for the Wasserstein barycenter problem that significantly decreases the number of input distributions. The coresets can be used in conjunction with random projections and thus further improve computation time. Lastly, our experimental results validate the speedup provided by dimensionality reduction while maintaining solution quality.

研究の動機と目的

• Wasserstein バリオセントラ計算における次元の呪いに対処すること。これは次元 $d$ に指数的依存するためである。
• 一般の $L_p$ 目的関数下でバリオセントラのコストを保持する次元削減手法を開発すること。
• $d$ や $k$ に依存しない次元バインドを達成することにより、古典的な Johnson-Lindenstrauss のバインドを改善すること。
• 減少次元サイズに関する一致する上界と下界を用いた理論的保証を提供すること。
• コアセット構築を次元削減と統合し、さらなる計算高速化を実現すること。

提案手法

• 入力分布の $d$ 次元サポート点を、$O(\log n)$ 次元にランダムな射影行列を用いて射影する次元削減を実行する。
• Kirszbraun の定理を用いて、射影後の $L_p$ 目的関数下でも Wasserstein 距離のコストが保持されることを保証する。
• 任意の $n$ 個の点にサポートを持つバリオセントラは、$O(\log n)$ 次元で、任意の誤差範囲内でコストが保持されるように計算可能であることを証明する。
• $O(n \log n)$ のサイズのコアセットを構築し、入力分布の数を削減しながらバリオセントラの品質を維持する。
• ランダム射影とコアセット構築を組み合わせることで、既存のバリオセントラアルゴリズムをさらに高速化する。

実験結果

リサーチクエスチョン

• RQ1 次元削減を用いることで、解の品質を損なわず、Wasserstein バリオセントラ計算の計算コストを低減できるか？
• RQ2 $d$ や $k$ に依存しない最小の次元は何か？ これは $L_p$-Wasserstein バリオセントラのコストを保持するためのものである。
• RQ3 Wasserstein バリオセントラ計算という特定の状況では、古典的な Johnson-Lindenstrauss の補題を改善できるか？
• RQ4 コアセットと次元削減をどのように組み合わせれば、バリオセントラ計算をさらに高速化できるか？
• RQ5 提案された次元削減バインドは、定数倍の意味でタイトなものか？

主な発見

• この論文は、$d$ や $k$ に依存せず、サポートサイズが $n$ の任意のバリオセントラに対して、$O(\log n)$ 次元で Wasserstein バリオセントラのコストを保持できることを確立している。
• 一致する下界が提示されているため、次元削減バインドは定数倍の意味で最適である。
• Kirszbraun の定理を用いることで、$p \neq 2$ であっても、ランダム射影下で $L_p$-Wasserstein バリオセントラの目的関数のコストが保持されることを保証している。
• $O(n \log n)$ のサイズのコアセットが構築され、入力分布の数を削減しながらバリオセントラの品質を維持している。
• 実験結果により、この手法は解の品質の最小限の損失で顕著な高速化を達成していることが確認されている。