[論文レビュー] Entropic estimation of optimal transport maps

Aram-Alexandre Pooladian, Jonathan Niles‐Weed|arXiv (Cornell University)|Sep 24, 2021

Markov Chains and Monte Carlo Methods参考文献 49被引用数 6

ひとこと要約

この論文は、エントロピー正則化とSinkhornのアルゴリズムを用いて、確率分布間の最適輸送マップを計算的に効率的に推定する手法を提案する。エントロピー結合のバーリュートリック射影を取ることで、有限標本保証付きの統計的一貫性を達成し、高次元または大規模データセットにおいて遅い従来手法の代替としてスケーラブルである。

ABSTRACT

We develop a computationally tractable method for estimating the optimal map between two distributions over $\mathbb{R}^d$ with rigorous finite-sample guarantees. Leveraging an entropic version of Brenier's theorem, we show that our estimator -- the \emph{barycentric projection} of the optimal entropic plan -- is easy to compute using Sinkhorn's algorithm. As a result, unlike current approaches for map estimation, which are slow to evaluate when the dimension or number of samples is large, our approach is parallelizable and extremely efficient even for massive data sets. Under smoothness assumptions on the optimal map, we show that our estimator enjoys comparable statistical performance to other estimators in the literature, but with much lower computational cost. We showcase the efficacy of our proposed estimator through numerical examples, even ones not explicitly covered by our assumptions. By virtue of Lepski's method, we propose a modified version of our estimator that is adaptive to the smoothness of the underlying optimal transport map. Our proofs are based on a modified duality principle for entropic optimal transport and on a method for approximating optimal entropic plans due to Pal (2019).

研究の動機と目的

• 高次元または大規模な標本サイズにおいて、従来の最適輸送マップ推定器の計算不能性を解消すること。
• エントロピー正則化とSinkhornのアルゴリズムを用いて、取り扱いやすくスケーラブルな最適輸送マップ推定手法の開発。
• 真のマップに滑らかさの仮定がある場合に、提案手法の有限標本統計的収束保証の提供。
• 理論的最適輸送と実用的機械学習応用のギャップを埋め、大規模データ上で効率的かつ並列処理可能な計算を可能にすること。
• エントロピー計画のバーリュートリック射影とBrenierの定理との間の標準的関係を確立し、標本外拡張を可能にする。

提案手法

• 最適輸送問題のエントロピー正則化を活用し、元のMonge問題を計算的に取り扱いやすい形に変換する。
• i.i.d.標本から得られる経験的測度間のエントロピー正則化結合を、効率的に計算するためSinkhornのアルゴリズムを用いる。
• エントロピー結合に対するバーリュートリック射影を適用し、入力点を結合下での条件付き期待値へ写像するマップ推定器を取得する。
• エントロピー最適輸送における双対ポテンシャルの勾配とバーリュートリック射影との理論的関係を確立し、Brenierの定理を一般化する。
• Pal (2019) の近似技術と修正された双対性原理を用いて、推定器の統計的性質を分析する。
• チェイングとカバー数の議論を用いて、経験過程をバインドし、有限標本リスクバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元または大規模データセットにおいて、計算的に効率的かつ統計的に一貫性を持つ最適輸送マップ推定器を構築できるか？
• RQ2 エントロピー結合のバーリュートリック射影は、真の最適輸送マップの有効かつ一貫性のある推定器を提供するか？
• RQ3 真のマップに滑らかさの仮定がある場合、その推定器の有限標本収束速度はどのようになるか？
• RQ4 時間計算量と並列処理可能性の観点から、この手法の計算効率は、既存の最先端推定器と比べてどうか？
• RQ5 バーリュートリック射影は、エントロピー正則化下で古典的最適輸送理論の自然な拡張と解釈できるか？

主な発見

• 逆マップ $T_0^{-1}$ が $\mathcal{C}^\alpha$ スムーズで $\alpha \in (1,3]$ の場合、$d' = 2\lceil d/2 \rceil$ に対して、$\mathbb{E}\|\hat{T}-T_0\|_{L^2(P)}^2 \lesssim n^{-\frac{\alpha+1}{2(d'+\alpha+1)}}\log n$ の収束レートを達成する。
• 推定器は計算的に効率的で、Sinkhornのアルゴリズムによる標本数の2乗時間計算量であり、GPU上で非常に並列処理可能である。
• バーリュートリック射影の有限標本収束保証は、本研究で初めて確立された。この手法はこれまでヒューリスティックにのみ使われていた。
• 数値ベンチマークにおいて、最小最大最適推定器よりわずかに遅い収束レートであるが、統計的精度と計算速度の両面で、既存の推定器を上回る性能を示した。
• バーリュートリック射影がエントロピー最適輸送における双対ポテンシャルの勾配に対応することが示され、理論的基盤が得られ、標本外予測が可能になった。
• 分析には修正された双対性原理とホルダー空間のカバー数バウンドを用い、定数が $\varepsilon^{-d/2}$ に依存する。これは正則化と近似誤差のトレードオフを反映している。