[論文レビュー] Optimal transport map estimation in general function spaces

Vincent Divol, Jonathan Niles‐Weed+1 more|arXiv (Cornell University)|Dec 7, 2022

Caveolin-1 and cellular processes被引用数 4

ひとこと要約

本稿は、ソース測度におけるPoincaré不等式とBrenierポテンシャル空間の度合いの制御を活用して、一般関数空間における最適輸送マップの推定のための統一的枠組みを提案する。弱い滑らかさ仮定の下で最小最大最適推定レートを確立し、Hölderマップに対する既知の結果を回復するとともに、ガウス測度下での無限幅浅層ニューラルネットワークマップについて、初めての統計的レートを提供する。

ABSTRACT

We study the problem of estimating a function $T$ given independent samples from a distribution $P$ and from the pushforward distribution $T_\sharp P$. This setting is motivated by applications in the sciences, where $T$ represents the evolution of a physical system over time, and in machine learning, where, for example, $T$ may represent a transformation learned by a deep neural network trained for a generative modeling task. To ensure identifiability, we assume that $T = abla φ_0$ is the gradient of a convex function, in which case $T$ is known as an \emph{optimal transport map}. Prior work has studied the estimation of $T$ under the assumption that it lies in a Hölder class, but general theory is lacking. We present a unified methodology for obtaining rates of estimation of optimal transport maps in general function spaces. Our assumptions are significantly weaker than those appearing in the literature: we require only that the source measure $P$ satisfy a Poincaré inequality and that the optimal map be the gradient of a smooth convex function that lies in a space whose metric entropy can be controlled. As a special case, we recover known estimation rates for Hölder transport maps, but also obtain nearly sharp results in many settings not covered by prior work. For example, we provide the first statistical rates of estimation when $P$ is the normal distribution and the transport map is given by an infinite-width shallow neural network.

研究の動機と目的

• ソース分布およびプッシュフォワード分布からの独立標本のみが利用可能な状況において、最適輸送マップを推定する一般的手法を開発すること。
• 従来の研究と比較して著しく弱い仮定の下で、一般関数空間における推定レートを確立すること、特に強いHölder型滑らかさ要件を回避すること。
• ソース測度がガウス分布であり、マップが無限幅浅層ニューラルネットワークである場合に、最適輸送マップ推定のための初めての統計的レートを提供すること。
• 度合いのエンタロピーとPoincaré不等式に基づくより広範な理論枠組みにおいて、既存のHölderマップに関する結果を統合すること。

提案手法

• 輸送マップ $ T = \nabla \varphi_0 $ が凸関数（Brenierポテンシャル）の勾配であると仮定することで、最適輸送理論による同定可能性と最適性を保証する。
• 推定の安定性を保証するため、ソース測度 $ P $ がPoincaré不等式を満たすことを仮定し、濃度制御を行う。
• 推定誤差レートを支配する、Brenierポテンシャル $ \varphi_0 $ を含む関数空間の度合いのエンタロピーを制御する。
• 推定誤差をバインドするため、度合いのエンタロピーに基づく複雑さの測度を用いることで、古典的Hölder滑らかさクラスを超える一般化を可能にする。
• 主な技術的道具として、二つの密度が一様に比較可能であれば、それらの間の最適輸送マップの導関数が一様にゼロから離れており、無限大からも離れていることを示す補題を用いる。
• このアプローチを用いて、ガウス測度や無限幅ニューラルネットワークなどの設定において推定子を構築し、最小最大レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 古典的Hölderクラスを超える一般関数空間において、最適輸送マップ推定を検討することは可能か？
• RQ2 最小最大最適レートを達成するための、ソース測度 $ P $ およびBrenierポテンシャル $ \varphi_0 $ に対する最小限の仮定は何か？
• RQ3 本枠組みは、Hölderマップの既知のレートを回復できるか？ また、無限幅ニューラルネットワークのような新しい設定へ拡張可能か？
• RQ4 Poincaré不等式は、推定の安定性と収束を保証するために果たす役割は何か？
• RQ5 度合いのエンタロピーが、非ペaired標本モデルにおける推定誤差をどのように制御するか？

主な発見

• 本稿は、ソース測度 $ P $ がPoincaré不等式を満たし、Brenierポテンシャル $ \varphi_0 $ が度合いのエンタロピーが制御された空間に属するという仮定の下で、最適輸送マップの最小最大最適推定レートを確立する。
• Hölder連続マップの既知のレートが、特別な場合として回復され、本枠組みの従来の研究との一貫性が検証される。
• ガウス測度下で、ソース測度が標準正規分布であり、輸送マップが無限幅浅層ニューラルネットワークに対応する場合に、初めて統計的推定レートを導出する。
• 本手法により、プッシュフォワード密度がソース密度と一様に比較可能な場合、最適輸送マップの導関数が一様にゼロから離れており、無限大からも離れていることが示され、安定性が保証される。
• 近似誤差と複雑さのバランスを取る一般化されたオракル不等式を提供し、非パラメトリック回帰に類似した形で推定誤差を記述する。
• 解析により、推定誤差がポテンシャル空間の度合いのエンタロピーに比例してスケーリングされることを示し、モデルの複雑さと推定精度の間のトレードオフを明確に特定する。