[論文レビュー] Orthogonal Estimation of Wasserstein Distances

Mark Rowland, Jiri Hron+4 more|arXiv (Cornell University)|Mar 9, 2019

3D Shape Modeling and Analysis被引用数 16

ひとこと要約

本稿では、直交射影を用いることで、スライスされた Wasserstein 距離の計算効率と、完全な Wasserstein 距離の精度を組み合わせた、新たなバリエーションである「射影 Wasserstein 距離」を導入する。モンテカルロ推定における直交結合を提案することで分散を低減し、生成モデルと強化学習のタスクにおいて、より安定した性能を示すことを実証した。

ABSTRACT

Wasserstein distances are increasingly used in a wide variety of applications in machine learning. Sliced Wasserstein distances form an important subclass which may be estimated efficiently through one-dimensional sorting operations. In this paper, we propose a new variant of sliced Wasserstein distance, study the use of orthogonal coupling in Monte Carlo estimation of Wasserstein distances and draw connections with stratified sampling, and evaluate our approaches experimentally in a range of large-scale experiments in generative modelling and reinforcement learning.

研究の動機と目的

• 1 次元の周辺分布に依存するため、近似品質が低いというスライス Wasserstein 距離の限界を是正すること。
• 射影ベクトルの直交結合を活用することで、Wasserstein 距離のモンテカルロ推定の効率と精度を向上させること。
• 高次元構造を保持しつつ計算の tractability を維持する新しい距離尺度「射影 Wasserstein 距離」を構築すること。
• 直交結合と層別抽出の間の理論的関係を確立し、分散低減特性を裏付けること。
• 大規模な生成モデルと強化学習のベンチマークを用いて、提案手法の実用的利点を経験的に評価すること。

提案手法

• スライス Wasserstein と完全 Wasserstein 距離のハイブリッドとして、高次元構造をよりよく捉えるために複数の直交射影方向を用いる「射影 Wasserstein 距離」を提案する。
• モンテカルロサンプリングにおいて、射影ベクトルを互いに直交するように選ぶことで、推定器の分散を低減する「直交結合」を導入する。
• 理論的分析により、直交結合が層別抽出を近似し、確率空間の均等なカバーを実現することを示した。
• 直交射影方向を用いたモンテカルロサンプリングにより、スライス Wasserstein と射影 Wasserstein 距離を推定し、収束性と安定性を向上させた。
• 直交結合推定器を、生成モデル（GAN によるもの）と強化学習におけるポリシー最適化の2つの下流タスクに応用した。
• 強化学習では、KL 散発や標準 Wasserstein 距離に代えて、射影 Wasserstein 距離をポリシー更新制約に用いるペナルティベースの信頼領域フレームワークを採用した。

実験結果

リサーチクエスチョン

• RQ1 スライス Wasserstein 距離の計算効率を保ちつつ、近似品質を向上させることのできる新たな Wasserstein 距離のバリエーションを設計可能か？
• RQ2 射影方向の直交結合が、Wasserstein 距離のモンテカルロ推定器の分散に与える影響は何か？
• RQ3 モンテカルロ推定の文脈において、直交結合と層別抽出の理論的関係は何か？
• RQ4 射影 Wasserstein 距離と直交結合の使用は、生成モデルにおける訓練の安定性と性能に顕著な向上をもたらすか？
• RQ5 直交結合は、複雑なダイナミクスを有する強化学習における信頼領域ポリシー最適化の有効性を高めうるか？

主な発見

• 射影 Wasserstein 距離は、複数の直交射影からの情報を統合することで、標準的なスライス Wasserstein 距離よりも優れた近似品質を達成した。
• 直交結合により、モンテカルロ推定器の分散が顕著に低減され、より安定的かつ正確な距離推定が実現した。
• HalfCheetah における強化学習では、射影 Wasserstein 信頼領域が、ベースライン手法と比較してより高い累積報酬とより安定した訓練を達成した。
• Hopper ではダイナミクスが単純なため、射影 Wasserstein アプローチの利点がやや顕著でなかった。これは、文脈依存的な利点であることを示唆した。
• 経験的に、直交結合手法は分散低減特性を有する有効な層別抽出の近似形式であることが示された。
• 生成モデルの分野では、改善された距離推定のおかげで、特に高次元設定において GAN の訓練がより安定化した。