[論文レビュー] Large-Scale Optimal Transport and Mapping Estimation

Vivien Seguy, Bharath Bhushan Damodaran+4 more|arXiv (Cornell University)|Nov 7, 2017

Traffic Prediction and Management Techniques参考文献 35被引用数 79

ひとこと要約

要約: 本論文は、確率分布間の最適マップを学習するための2段階フレームワークを提案する。1) 確率的デュアル法を用いて大規模な正則化OTプランを計算、2) バリセントリック射影からニューラルネットワークとしてMongeマップを抽出し、理論的収束保証とドメイン適応および生成モデルへの応用を提供する。

ABSTRACT

This paper presents a novel two-step approach for the fundamental problem of learning an optimal map from one distribution to another. First, we learn an optimal transport (OT) plan, which can be thought as a one-to-many map between the two distributions. To that end, we propose a stochastic dual approach of regularized OT, and show empirically that it scales better than a recent related approach when the amount of samples is very large. Second, we estimate a \textit{Monge map} as a deep neural network learned by approximating the barycentric projection of the previously-obtained OT plan. This parameterization allows generalization of the mapping outside the support of the input measure. We prove two theoretical stability results of regularized OT which show that our estimations converge to the OT plan and Monge map between the underlying continuous measures. We showcase our proposed approach on two applications: domain adaptation and generative modeling.

研究の動機と目的

• ドメイン適応や生成モデリングなどの応用のために、1つの分布を別の分布へ写像する問題の動機づけ。
• まずOTプランを学習し，次に最適なMongeマップを回復する、スケーラブルな2段階手法を開発。
• 正則化OTプランとそれらのバリセントリック射影が、連続測度間の真のMongeマップへ収束することに関する理論的結果を提供。
• ドメイン適応と大規模生成モデリングといったタスクで本法を実証。

提案手法

• OTをエントロピーまたはL2正則化を用いて緩和し、 concaveな目的を持つデュアル定式化を可能にする。
• 正則化OTデュアルを確率的勾配上昇で最適化し、大規模なサンプルサイズへスケーラビリティを実現。
• OTプランのバリセントリック射影を計算してMongeマップを回復し、入力支持の外にも一般化できるようニューラルネットワークでパラメータ化。
• 正規化プランから生じる重み付き平方誤差目的関数でYとf_theta(X)を最小化して写像を学習。
• 収束結果を証明：エントロピー正則化プランは真のOTプランへ収束する；バリセントリック射影は基礎となる連続測度に対してMongeマップへ収束する（定理1および2）。

実験結果

リサーチクエスチョン

• RQ1 非常に大規模な離散または連続測度に対して、最適輸送を効率的に計算するにはどうすればよいか。
• RQ2 正則化OTプランのバリセントリック射影を用いて、入力支持の外へ一般化するMongeマップを回復できるか。
• RQ3 サンプルサイズが増え、正則化が消えると、正則化OTプランとそのバリセントリック射影は真のOTプランとMongeマップへ収束するか。
• RQ4 提案する2段階OT写像フレームワークは、実務的なタスク（ドメイン適応や生成モデリング）でどれだけ効果的か。

主な発見

手法	MNIST → USPS	USPS → MNIST	SVHN → MNIST
ソースのみ	73.47	36.97	54.33
Bar. proj. OT	57.75	52.46	intractable
Bar. proj. OT with Re	68.75	57.35	intractable
Bar. proj. Alg.1 with Re	68.84	57.55	58.87
Bar. proj. Alg.1 with L2	67.80	57.47	60.56
Monge map Alg. 1 + 2 with Re	77.92	60.02	61.11
Monge map Alg. 1 + 2 with L2	72.61	60.50	62.88

• デュアル確率的OTアルゴリズムは、大規模なOT問題に対して確率的半デュアルアプローチよりも収束が速い。
• MNIST/USPS/SVHNのベンチマークで、従来のOTベースアプローチよりもドメイン適応性能が改善され、Mongeマップベースのアプローチが高精度を達成。
• 正則化の中でエントロピーとL2が競争力のある結果を示し、Mongeマップ学習（Alg.1+2）がMNIST→USPSで最も良い性能（77.92%）を達成。
• 正規化OTプランのバリセントリック射影は、サンプルサイズが増え正則化が消えると真のMongeマップへ収束する（定理1–2）。
• コルリariesは、写像されたソース測度がターゲット測度へ収束することを示し、ドメイン適応と生成モデリングにおける利用を裏付ける。