[論文レビュー] Optimal transport mapping via input convex neural networks

Ashok Vardhan Makkuva, Amirhossein Taghvaei+2 more|arXiv (Cornell University)|Aug 28, 2019

Stochastic Gradient Optimization Techniques参考文献 44被引用数 39

ひとこと要約

本論文は、入力凸ニューラルネットワーク（ICNN）を用いて、2-Wasserstein距離の下で分布間の最適輸送写像を学習するミニマックス枠組みを提示し、輸送写像を凸関数の勾配として表現する。

ABSTRACT

In this paper, we present a novel and principled approach to learn the optimal transport between two distributions, from samples. Guided by the optimal transport theory, we learn the optimal Kantorovich potential which induces the optimal transport map. This involves learning two convex functions, by solving a novel minimax optimization. Building upon recent advances in the field of input convex neural networks, we propose a new framework where the gradient of one convex function represents the optimal transport mapping. Numerical experiments confirm that we learn the optimal transport mapping. This approach ensures that the transport mapping we find is optimal independent of how we initialize the neural networks. Further, target distributions from a discontinuous support can be easily captured, as gradient of a convex function naturally models a {\em discontinuous} transport mapping.

研究の動機と目的

• 正則化バイアスなしにサンプルから分布間の最適輸送写像を学習する動機づけ。
• 双対問題を凸にして制約付き射影を回避するミニマックス定式化を提案。
• ICNNを用いて凸関数とその共役をパラメータ化し、勾配として輸送写像を復元。
• 提案フレームワークの下で学習した写像の一貫性と安定性を確立。
• 高次元および実世界データセットへの適用性をディープ生成モデル工具として示す。

提案手法

• 2-Wassersteinの双対問題を定式化し、制約を凸化してミニマックス目的関数を得る（Equation 5）。
• 凸関数fとその共役を用いてReparametrizeし、単一の凸関数を介してW2^2(P,Q)を表現する（Theorem 3.3）。
• 凸関数fを凸性を保つようICNNsでパラメータ化。
• 輸送写像を凸関数の勾配として表現する（ミニマックス設定のgの勾配）。
• 得られたミニマックス問題を確率的最適化（Adam）で解く。fのICNNの非負ウェイトを強制し、安定性のためgにはオプションの正規化を適用（Equation 9）。
• 理論的保証を提供：一貫性（Theorem 3.3）と安定性境界（Theorem 3.6）。

実験結果

リサーチクエスチョン

• RQ1 正 primal 問題にバイアスをかける正規化なしで、サンプルからT*を学習できるか？
• RQ2 ICNNでパラメータ化した場合、凸関数上のミニマックス定式化は正確な2-Wasserstein輸送写像を与えられるか？
• RQ3 輸送写像を凸関数の勾配として表現することで、不連続な輸送写像と鋭い境界を可能にするか？
• RQ4 提案手法は高次元・実世界データセットで、標準OTベースやGANベースの手法と比べてどうか？
• RQ5 学習された輸送写像は初期化・訓練ダイナミクスに対して頑健か、安定性境界を確立できるか？

主な発見

指標	alpha=1	alpha=5	alpha=10
||μ_{T(Q)}−μ||^2	0.19±0.015	13.95±1.45	29.05±5.16
100·(||μ_{T(Q)}−μ||/||μ||)^2	0.02±0.001	0.07±0.005	0.04±0.006

• 提案されたミニマックスICNNベースのフレームワークは、単純な分布と複雑な分布間の最適輸送と視覚的・質的に一致する輸送写像を生み出す。
• 初期化に対して頑健であり、W1-LPおよびW2GANのベースラインとは初期化感度が異なる。
• 凸関数の勾配表現は不連続な輸送写像を可能にし、分離された支持間の鋭い境界を作る。
• 高次元データでの実験（ガウス→ガウス、ガウス→混合、MNISTベースのタスクを含む）は、現実的な精度で複雑な分布へスケールできる。
• 728次元のガウス輸送の定量的結果（Table 1）は、平均輸送誤差がターゲットシフト量(alpha)とともに増加することを報告し、平均輸送誤差と相対誤差の具体的な値を示す。
• 理論的貢献には、一貫性の結果（Theorem 3.3）と安定性境界（Theorem 3.6）が含まれる。