[論文レビュー] A Dimension-free Computational Upper-bound for Smooth Optimal Transport Estimation

Adrien Vacher, Boris Muzellec+3 more|arXiv (Cornell University)|Jan 13, 2021

Markov Chains and Monte Carlo Methods参考文献 44被引用数 9

ひとこと要約

本稿では、無限次元の平方和表現を活用することで、次元に依存しない統計的・計算的レートを達成する滑らかさのある最適輸送の新しい計算推定法を提案する。滑らかさパラメータ $ m > d $ を持つ滑らかな分布に対して、$ m \geq 3d $ のとき、$ \tilde{O}(\varepsilon^{-2}) $ 個の標本と $ \tilde{O}(\varepsilon^{-4}) $ の計算時間が必要となる。これは次元に依存する定数を除けば次元に依存しない複雑さを示しており、滑らかなOT推定における統計的・計算的ギャップを閉じる。

ABSTRACT

It is well-known that plug-in statistical estimation of optimal transport suffers from the curse of dimensionality. Despite recent efforts to improve the rate of estimation with the smoothness of the problem, the computational complexity of these recently proposed methods still degrades exponentially with the dimension. In this paper, thanks to an infinite-dimensional sum-of-squares representation, we derive a statistical estimator of smooth optimal transport which achieves a precision $\varepsilon$ from $ ilde{O}(\varepsilon^{-2})$ independent and identically distributed samples from the distributions, for a computational cost of $ ilde{O}(\varepsilon^{-4})$ when the smoothness increases, hence yielding dimension-free statistical and computational rates, with potentially exponentially dimension-dependent constants.

研究の動機と目的

• 滑らかさの仮定の下での最適輸送推定における統計的・計算的ギャップを解消すること。
• 滑らかな分布の最小最大統計的レートに一致する、実行可能で多項式時間のアルゴリズムを構築すること。
• 滑らかさを統計的にだけでなく計算的にも活用し、従来の手法における次元の呪いを克服すること。
• カーネル平均埋め込みを用いて、i.i.d.標本、正確な積分、点での密度評価の3つの状況を統一的に取り扱うフレームワークを構築すること。

提案手法

• 最適輸送ポテンシャルの無限次元の平方和（SoS）表現を用いることで、計算を効率化する。
• 双対最適輸送問題を、カーネルに基づく制約と周辺確率ペナルティ項を含む正則化された半定値計画問題（SDP）として定式化する。
• 測度をカーネル平均埋め込みで表現することで推定器を構築し、標本抽出、積分、評価の各状況において一貫した解析を可能にする。
• 正則化パrameter $ \lambda_1 $ と $ \lambda_2 $ を用いたプライマル・デュアルアルゴリズムによりSDPを解き、強い双対性により収束保証を付与する。
• 双対制約を効率的に近似するため、準乱数列を用いた空間充填標本戦略を導入する。
• 最終的な推定器 $ \hat{d}_{\text{OT}} $ はデュアルポテンシャル $ \hat{u}, \hat{v} $ から導出され、輸送写像は $ \hat{T}(x) = x - \nabla_x \hat{u}(x) $ として推定される。

実験結果

リサーチクエスチョン

• RQ1 最適輸送ポテンシャルの滑らかさを計算的に活用することで、次元に依存しない複雑さを達成できるか？
• RQ2 滑らかな最適輸送に対して、最小最大統計的レートに一致する実行可能で多項式時間のアルゴリズムは存在するか？
• RQ3 i.i.d.標本、正確な積分、点での密度評価の3つを統一的に取り扱うフレームワークは構築可能か？
• RQ4 滑らかな最適輸送推定において、$ \varepsilon $-精度を達成するための計算コストは何か？また、次元と滑らかさにどのように依存するか？

主な発見

• 提案手法は $ m \geq 3d $ のとき、$ \tilde{O}(\varepsilon^{-2}) $ の標本複雑さと $ \tilde{O}(\varepsilon^{-4}) $ の計算コストを達成し、指数部において次元に依存しない複雑さを実現する。
• $ m < 3d $ の場合、計算コストは $ \tilde{O}(\varepsilon^{-\max(4, \frac{7d}{m} - d)}) $ に比例し、滑らかさ $ m $ が増加するにつれて改善する。
• 正確な積分や点での密度評価が利用可能な場合、計算コストは $ \varepsilon^{-4} $ 未満に低下し、モンテカルロ標本の依存度が低下する。
• 数値実験により、4次元の切断ガウス分布上での推定器 $ \hat{d}_{\text{OT}} $ が真のOT距離に収束することが確認され、標本サイズが増加するにつれて誤差が減少する。
• 正則化パrameter $ \lambda_1, \lambda_2 \to 0 $ の極限で、元の正則化なしのOT問題が回復され、古典的OTとの一貫性が裏付けられる。
• 理論的解析により、総誤差は $ O(\varepsilon) $ で有界であり、滑らかさ、正則化、近似誤差に明示的な依存関係が示される。