[論文レビュー] On the sample complexity of entropic optimal transport

Philippe Rigollet, Austin J. Stromme|arXiv (Cornell University)|Jun 27, 2022

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

この論文は、計算的に効率的なプラグイン推定器を用いて、次元に依存しないパラメトリックな標本複雑度レートを、エントロピー正則化最適輸送に対して確立する。Schrödinger結合とPolyak-Łojasiewicz不等式による強い凸性を活用することで、高次元でもエントロピー回帰関数（Brenier写像の滑らかで適応的な類似物）がパラメトリック収束レートで推定可能であることを証明する。

ABSTRACT

We study the sample complexity of entropic optimal transport in high dimensions using computationally efficient plug-in estimators. We significantly advance the state of the art by establishing dimension-free, parametric rates for estimating various quantities of interest, including the entropic regression function which is a natural analog to the optimal transport map. As an application, we propose a practical model for transfer learning based on entropic optimal transport and establish parametric rates of convergence for nonparametric regression and classification.

研究の動機と目的

• 最適輸送推定における統計的次元の呪いを扱う。
• エントロピー最適輸送推定器に対して、計算的に効率的で次元に依存しない収束レートを確立する。
• 非パラメトリック回帰および分類レートが保証される、エントロピー最適輸送に基づく転移学習モデルを開発する。
• エントロピー回帰関数の標本複雑度を、Brenier写像の滑らかで適応的なアナログとして分析する。
• Schrödinger結合が高次元の台でもパラメトリック収束を可能にすることを証明する。

提案手法

• 標準的OTの計算的代替手段として、エントロピー正則化最適輸送問題（Schrödinger結合）を用いる。
• Schrödinger結合を効率的に計算するためにSinkhornアルゴリズムを適用する。
• 双対ポテンシャルと標準的拡張を用いて、正則化されたポテンシャルの一様な境界を付ける。
• 勾配ノルムと関数値の差の関係を関係づけるためにPolyak-Łojasiewicz不等式を用い、強い凸性の議論を可能にする。
• 指数関数および対数関数の写像のリプシッツ連続性を用いて、双対ポテンシャルおよび密度の一様な境界を確立する。
• 集中不等式と、経験的および真の双対ポテンシャルの差の上界を用いて、収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー最適輸送は、高次元設定でも次元に依存しないパラメトリックな標本複雑度を達成できるか？
• RQ2 エントロピー回帰関数は、最適レートを持つ滑らかで適応的なBrenier写像の推定器を提供できるか？
• RQ3 Schrödinger結合を用いて、非パラメトリック回帰および分類の保証を持つ実用的な転移学習モデルを構築できるか？
• RQ4 エントロピー結合およびその関連ポテンシャルを推定する際の標本複雑度は何か？
• RQ5 双対ポテンシャルおよび密度の一様な境界は、エントロピーOTにおける収束レートにどのように寄与するか？

主な発見

• エントロピー回帰関数は、次元に依存しない$ L^\infty $ノルムにおけるパラメトリック収束レートを達成する。
• 双対ポテンシャル$f_n$および$g_n$は、$L^\infty$ノルムで一様に有界であり、$\|f_n\|_{L^\infty(\mu)} \leq 2$および$\|g_n\|_{L^\infty(\nu_n)} \leq 1$を満たす。これにより安定性が保証される。
• Schrödinger結合により、次元に依存しない輸送写像の推定が可能となり、$n^{-1/d}$の次元の呪いを回避できる。
• 経験的および真の双対ポテンシャルの差は、$O(\|\bar{g}_\star - g_n\|_{L^1(\nu_n)})$で抑えられ、収束分析が可能になる。
• Schrödinger結合の密度$p_n(x,y)$は、双対ポテンシャルの差の$L^1$ノルムによって制御されるレートで、$p_\star(x,y)$に収束する。
• Polyak-Łojasiewicz不等式を用いて、強い凸性に基づく境界を導出し、エントロピーOT推定器のパラメトリックレートを導出する。