[論文レビュー] A Fast Proximal Point Method for Wasserstein Distance.

Yujia Xie, Xiangfeng Wang+2 more|arXiv (Cornell University)|Feb 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 33

ひとこと要約

本稿では、確率単体への射影を用いて近似的に近接作用素を解くことで、正確なウォッサーシュタイン距離を効率的に計算する、最適輸送のための不正確近接点法（IPOT）を提案する。この手法は、正則化に起因する性能劣化を伴わず正確な距離を必要とする応用において、最新の手法と比較して速度および精度の両面で優れた収束性と性能を達成する。

ABSTRACT

Wasserstein distance plays increasingly important roles in machine learning, stochastic programming and image processing. Major efforts have been under way to address its high computational complexity, some leading to approximate or regularized variations such as Sinkhorn distance. However, as we will demonstrate, several important machine learning applications call for the computation of exact Wasserstein distance, and regularized variations with small regularization parameter will fail due to numerical stability issues or degradate the performance. We address this challenge by developing an Inexact Proximal point method for Optimal Transport (IPOT) with the proximal operator approximately evaluated at each iteration using projections to the probability simplex. We also simplify the architecture for learning generative models based on optimal transport solution, and generalize the idea of IPOT to a new method for computing Wasserstein barycenter. We provide convergence analysis of IPOT and experiments showing our new methods outperform the state-of-the-art methods in terms of both effectiveness and efficiency.

研究の動機と目的

• 機械学習および画像処理分野における正確なウォッサーシュタイン距離計算の高い計算コストと数値的不安定性に対処すること。
• 正則化が小さい場合に性能が劣化するような、シンクホルン距離などの正則化変種の限界を克服すること。
• 正確な最適輸送距離を計算するためのスケーラブルで数値的に安定した手法を開発すること。
• 最適輸送解に基づく生成モデルのアーキテクチャを簡素化すること。
• IPOTを一般化し、効率的にウォッサーシュタイン重心を計算できるようにすること。

提案手法

• 近接作用素を確率単体への射影を用いて近似的に解く不正確近接点（IPOT）フレームワークを採用する。
• 各イテレーションで、単体への射影による不正確な解を用いた近接ステップを適用し、計算オーバーヘッドを低減する。
• 不正確な部分問題の解であっても収束保証を維持するようにアルゴリズムを設計する。
• 複数の測度に一般化した近接フレームワークを用いて、ウォッサーシュタイン重心の計算へと拡張する。
• 正則化を伴わずに最適輸送解を直接利用可能にすることで、生成モデリングを簡素化する。
• 弱い仮定の下でグローバル収束を保証する収束解析を提供する。

実験結果

リサーチクエスチョン

• RQ1 不正確近接点法は、正確なウォッサーシュタイン距離の高速かつ安定な計算を達成できるか？
• RQ2 IPOTは、正則化手法（例：シンクホルン）と比較して、数値的安定性および性能においてどのように異なるか？
• RQ3 IPOTは、効率的にウォッサーシュタイン重心を計算できるように一般化できるか？
• RQ4 近接ステップにおける単体射影の使用は、収束性と正確性を保持するか？
• RQ5 この手法は、最適輸送に基づく生成モデリングを簡素化し、改善できるか？

主な発見

• IPOTは、正確なウォッサーシュタイン距離を計算する分野で、最新の手法と比較してより高速な収束性と高い正確性を達成する。
• 正則化パラメータが小さい場合でも、数値的に安定しており、正則化変種で見られる性能劣化を回避する。
• 実験的結果から、複数のベンチマークにおいて、有効性と効率性の両面で既存手法を上回ることが示された。
• IPOTに基づく生成モデルの簡素化されたアーキテクチャは、訓練の安定性とサンプル品質の向上に寄与する。
• ウォッサーシュタイン重心計算へのIPOTの一般化により、重心問題の効率的かつ正確な解法が可能になった。
• 収束解析により、標準的な仮定の下でIPOTのグローバル収束が確認され、理論的堅牢性が裏付けられた。