[論文レビュー] Fast Approximation of the Sliced-Wasserstein Distance Using Concentration of Random Projections

Kimia Nadjahi, Alain Durmus+3 more|arXiv (Cornell University)|Jun 29, 2021

Geometric Analysis and Curvature Flows参考文献 38被引用数 5

ひとこと要約

本稿では、高次元のランダム射影における測度集中現象を活用することで、ハイパーパramータフリーで決定的であるスライスド・ワーサーテイン距離（SW）の近似を提案する。モンテカルロサンプリングに代えて、高次元の射影がガウス分布に集中することを利用し、非漸近的誤差保証が得られる高速で正確かつ計算的に効率的なSW推定が可能になる。この誤差保証は、弱い依存性条件の下で次元が増加するにつれて消滅する。

ABSTRACT

The Sliced-Wasserstein distance (SW) is being increasingly used in machine learning applications as an alternative to the Wasserstein distance and offers significant computational and statistical benefits. Since it is defined as an expectation over random projections, SW is commonly approximated by Monte Carlo. We adopt a new perspective to approximate SW by making use of the concentration of measure phenomenon: under mild assumptions, one-dimensional projections of a high-dimensional random vector are approximately Gaussian. Based on this observation, we develop a simple deterministic approximation for SW. Our method does not require sampling a number of random projections, and is therefore both accurate and easy to use compared to the usual Monte Carlo approximation. We derive nonasymptotical guarantees for our approach, and show that the approximation error goes to zero as the dimension increases, under a weak dependence condition on the data distribution. We validate our theoretical findings on synthetic datasets, and illustrate the proposed approximation on a generative modeling problem.

研究の動機と目的

• 高次元設定におけるモンテカルロベースのスライスド・ワーサーテイン距離（SW）推定の高い計算コストに対処すること。
• 投影数 $ L $ のチューニングが不要な、モンテカルロサンプリングの代替としての決定的アプローチを開発すること。
• 弱い依存性条件の下で、SWの近似誤差に対する非漸近的理論的保証を提供すること。
• 生成モデルの学習を高速化し、SWに依存するその他の機械学習タスクにおいて、モンテカルロSWに代わる決定的でスケーラブルな代替を提供すること。
• 合成データおよび画像生成において、本手法の有効性を示し、モンテカルロベースのSWに比べて速度と品質の両方が向上することを確認すること。

提案手法

• 本手法は測度集中現象を活用する：弱い依存性を持つデータの高次元ランダム射影は、ガウス分布に集中する。
• ランダム射影におけるモンテカルロ期待値を、射影の極限ガウス分布に基づく決定的近似に置き換える。
• 近似は、[26]の投影分布とそのガウス極限との間のワーサーテイン距離のバウンドを用いて導出される。
• 得られるSW推定値は、データの平均および共分散に対する閉形式演算によって計算され、サンプリングや最適化を回避する。
• PyTorchのソーティング演算を効率的に活用することで、GPUアクセラレーションが可能となり、エポックあたりの計算時間が低く抑えられる。
• 生成モデルへの応用では、弱い依存性を強制するために、正則化された共分散行列を用いた特徴表現の比較が行われる。

実験結果

リサーチクエスチョン

• RQ1 測度集中現象を活用して、決定的でハイパーパramータフリーなスライスド・ワーサーテイン距離の近似を構築できるか？
• RQ2 データ次元が増加する際、この決定的SW近似の非漸近的誤差行動はいかなるものか？
• RQ3 近似誤差は次元にどのように依存し、データ分布のどの依存性仮定の下で成立するか？
• RQ4 計算効率および生成モデルの品質の観点から、この決定的SW近似はモンテカルロベースのSWを上回れるか？
• RQ5 本手法は、データ特徴が弱く依存する場合に、画像生成を含む実世界の機械学習タスクに適用可能か？

主な発見

• 提案された決定的SW近似は、モンテカルロ法に比べて著しく高速である。CelebAではCPUで1エポックあたり3秒未満で実行可能であるのに対し、モンテカルロ法では約45分を要する。
• 近似誤差は次元が増加するにつれて減少し、データ分布の弱い依存性条件の下では0に近づく。
• 合成データでは、近似誤差の経験的収束速度が理論的 $ d^{-1/8} $ の境界を上回る速度で収束しており、理論的境界が保守的である可能性を示唆している。
• 画像生成においては、提案されたSW近似を用いた reg-det-SWG モデルが、高品質な画像を生成し、モンテカルロベースのSWGと同等またはより低い学習時間を達成した。
• 投影数 $ L $ のチューニングの必要がなくなり、ハイパーパramータへの感受性が低下し、実装が簡素化された。
• 理論的誤差境界は対角共分散ガウス分布に対して $ O(d^{-1/2}) $ であり、特定の分布に対してはよりタイトな境界が得られる可能性があると著者らが示唆している。