[論文レビュー] Statistical Optimal Transport posed as Learning Kernel Embedding

J. Saketha Nath, Pratik Jawanpuria|arXiv (Cornell University)|Feb 8, 2020

Neural Networks and Applications参考文献 49被引用数 6

ひとこと要約

本稿では、最大平均差分（MMD）正則化を用いて、輸送計画の推定をカーネル平均埋め込みの学習として定式化することで、統計的最適輸送のための新しいカーネルベースのアプローチを提案する。弱い条件下でも、輸送計画およびそのバーチャル・プロジェクション写像の$\epsilon$-最適回復において次元に依存しない標本複雑度$O(m^{-1/2})$を達成し、連続領域における一貫性、滑らかさ、およびアウト・オブ・サンプル推定を可能にする。

ABSTRACT

The objective in statistical Optimal Transport (OT) is to consistently estimate the optimal transport plan/map solely using samples from the given source and target marginal distributions. This work takes the novel approach of posing statistical OT as that of learning the transport plan's kernel mean embedding from sample based estimates of marginal embeddings. The proposed estimator controls overfitting by employing maximum mean discrepancy based regularization, which is complementary to $ϕ$-divergence (entropy) based regularization popularly employed in existing estimators. A key result is that, under very mild conditions, $ε$-optimal recovery of the transport plan as well as the Barycentric-projection based transport map is possible with a sample complexity that is completely dimension-free. Moreover, the implicit smoothing in the kernel mean embeddings enables out-of-sample estimation. An appropriate representer theorem is proved leading to a kernelized convex formulation for the estimator, which can then be potentially used to perform OT even in non-standard domains. Empirical results illustrate the efficacy of the proposed approach.

研究の動機と目的

• 入力次元に伴い標本複雑度が著しく悪化する統計的最適輸送における次元の呪いを克服すること。
• 連続的かつ標準的でない領域においても、次元に依存しない一貫性のある輸送計画および写像の推定器を開発すること。
• 高次元設定において過学習を効果的に制御できない場合がある従来の$\phi$-ダイバージェンスまたはエントロピー正則化に依存する推定器の限界を克服すること。
• カーネル平均埋め込みによる暗黙のスムージングのおかげで、標準的な密度ベースの手法では得られないアウト・オブ・サンプル推定を可能にすること。
• 再現核ヒルベルト空間（RKHS）における凸最適化問題としての定式化を、代表定理を用いて実現し、任意の領域における実装の容易さを提供すること。

提案手法

• 輸送計画のカーネル平均埋め込みの学習として統計的最適輸送を再定式化し、周辺カーネル埋め込みの標本推定と一致するように制約を課す。
• 過学習を制御するためMMDに基づく正則化を用い、従来の$\phi$-ダイバージェンスやエントロピー正則化とは補完的である。
• 再現核ヒルベルト空間（RKHS）における凸最適化問題として問題を定式化し、有限次元解表現のための代表定理を活用する。
• カーネル平均埋め込みの周辺分布が次元に依存しない$O(m^{-1/2})$の標本複雑度で推定可能であるという事実を活用することで、一貫性と次元に依存しない収束を保証する。
• 最適解が経験的カーネル特徴量の線形空間に存在することを示す投影に基づく議論を導出し、有限次元計算を可能にする。
• バーチャル・プロジェクション写像推定に対して確率的勾配降下法（SGD）を用い、収束誤差が$O(1/\sqrt{m^\prime})$であり、有界領域において次元に依存しないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 統計的最適輸送は、入力次元に完全に依存しない標本複雑度で一貫して推定可能か？
• RQ2 カーネル平均埋め込みを用いることで、暗黙のスムージングとアウト・オブ・サンプル予測を可能にする形で、統計的OT問題を再定式化可能か？
• RQ3 MMDに基づく正則化は、$\phi$-ダイバージェンス正則化とは補完的かつ効果的な代替手段となり得るか？
• RQ4 輸送計画のカーネル埋め込みに対して代表定理を確立でき、有限次元の凸最適化定式化を可能にするか？
• RQ5 弱い正則性条件下でも、バーチャル・プロジェクション写像は次元に依存しない標本複雑度で回復可能か？

主な発見

• 提案された推定器は、$\epsilon$-最適回復のための標本複雑度$O(m^{-1/2})$を達成し、これは完全に次元に依存しない。
• バーチャル・プロジェクションに基づく輸送写像についても、弱い条件下で同じ次元に依存しない標本複雑度で回復可能である。
• MMDに基づく正則化は、従来のエントロピーまたは$\phi$-ダイバージェンス正則化とは異なり、過学習を効果的に制御する補完的で効果的なメカニズムを提供する。
• カーネル平均埋め込みの定式化により、暗黙のスムージングが可能となり、アウト・オブ・サンプル推定をサポートする。これは密度ベース手法に比べて顕著な利点である。
• 代表定理が証明され、最適解が経験的カーネル特徴量の線形空間に存在することを示し、有限次元の凸最適化定式化を可能にする。
• バーチャル・プロジェクション問題に確率的勾配降下法（SGD）を適用した場合、有界領域および凸コスト関数の下で、次元に依存しない推定誤差$O(1/\sqrt{m^\prime})$が得られる。