[論文レビュー] On Scalable and Efficient Computation of Large Scale Optimal Transport

Yujia Xie, Minshuo Chen+3 more|arXiv (Cornell University)|May 1, 2019

Model Reduction and Neural Networks参考文献 55被引用数 7

ひとこと要約

本稿では、implicitな生成モデルと原対双の確率的最適化を用いて最適輸送をミニマックス問題として定式化する、スケーラブルな最適輸送のプッシュフォワード（SPOT）を提案する。この手法により、ニューラルODEを用いて最適輸送計画と連合密度を効率的に計算可能となり、従来の手法と比較して著しく高速な収束を達成し、ドメイン適応において最先端の性能を実現する。

ABSTRACT

Optimal Transport (OT) naturally arises in many machine learning applications, yet the heavy computational burden limits its wide-spread uses. To address the scalability issue, we propose an implicit generative learning-based framework called SPOT (Scalable Push-forward of Optimal Transport). Specifically, we approximate the optimal transport plan by a pushforward of a reference distribution, and cast the optimal transport problem into a minimax problem. We then can solve OT problems efficiently using primal dual stochastic gradient-type algorithms. We also show that we can recover the density of the optimal transport plan using neural ordinary differential equations. Numerical experiments on both synthetic and real datasets illustrate that SPOT is robust and has favorable convergence behavior. SPOT also allows us to efficiently sample from the optimal transport plan, which benefits downstream applications such as domain adaptation.

研究の動機と目的

• 高次元設定における大規模最適輸送の計算非可能性に対処すること。
• ドメイン適応などの下流応用に向け、最適輸送計画と連合密度の効率的計算を可能にすること。
• 既存の確率的アルゴリズムが最適輸送距離しか計算しないという制限を克服すること。
• 深層生成モデルとニューラルODEを活用し、implicitでスケーラブルかつ微分可能なる輸送マッピングを実現すること。
• 高忠実度を維持しつつ、最適輸送計画からの効率的サンプリングを可能にするフレームワークの構築

提案手法

• 潜在変数 Z ∼ ρ からのプッシュフォワード写像 G(Z) = [GX(Z), GY(Z)] を用いて最適輸送計画 γ* を近似する。
• 最適輸送問題を制約付き最小化問題として定式化：E[c(GX(Z), GY(Z))] を最小化し、GX(Z) ∼ μ および GY(Z) ∼ ν を満たす。
• ニューラルネットワークで近似された双対変数を用いたラグランジュ緩和を適用し、問題をミニマックス最適化に変換する。
• スケーラビリティと効率性を確保するため、原対双の確率的勾配アルゴリズムを用いて得られたミニマックス問題を解く。
• 潜在空間からの連続的変換をモデル化するため、ニューラルODEを用いて最適輸送計画の連合密度を回復する。
• 共通潜在空間と二重識別器を用いたDASPOTを用いてドメイン適応にフレームワークを統合する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルを用いて、高次元連続分布の最適輸送計画を効率的に計算できるか？
• RQ2 ニューラルネットワークで近似された双対変数を用いたミニマックス定式化は、スケーラブルかつ微分可能な最適輸送計算を可能にするか？
• RQ3 プッシュフォワード写像によるimplicitな生成モデリングは、最適輸送計画の高品質なサンプリングと密度推定を可能にするか？
• RQ4 提案フレームワークは、既存の最適輸送ベースのドメイン適応手法と比較して、精度と学習効率の両面で優れているか？
• RQ5 ニューラルODEは、潜在変数変換から最適輸送計画の連合密度をどの程度正確に回復できるか？

主な発見

• DASPOTはMNIST → USPSドメイン適応タスクで97.5%の精度を達成し、DeepJDOT（95.7%）とStochJDOT（93.6%）を上回った。
• SPOTはMNIST → USPSで95%の精度を達成するまでに169秒の学習時間を要したのに対し、DeepJDOTは518秒を要したため、著しく高い効率性を示した。
• 本フレームワークはPhoto-MonetおよびEdges-Shoesデータセットで高品質なペア画像を生成し、意味的および構造的対応を保持した。
• ニューラルODEは、潜在プッシュフォワード写像から最適輸送計画の連合密度を正確に回復できた。
• ニューラルネットワークで近似された双対変数を用いたミニマックス定式化により、高次元設定でも安定的かつスケーラブルな最適化が可能となった。
• SPOTは最適輸送計画からの効率的サンプリングを可能にし、ドメイン適応やリソース配分などの実用的応用にとって不可欠である。