[論文レビュー] Statistical inference with regularized optimal transport

Ziv Goldfeld, Kengo Kato+2 more|arXiv (Cornell University)|May 9, 2022

Statistical Methods and Inference被引用数 8

ひとこと要約

本稿は、正則化最適輸送における統計的推論のための統一的枠組みを構築し、経験的正則化 Wasserstein 距離の極限分布、半パラメトリック効率性、ブートストラップの整合性を確立する。この枠組みをスライス型、滑らかさ型、エントロピー型 OT に適用することで、従来の理論におけるギャップを解消し、一般条件下での効率性およびブートストラップの有効性に関する新規結果を証明する。

ABSTRACT

Optimal transport (OT) is a versatile framework for comparing probability measures, with many applications to statistics, machine learning, and applied mathematics. However, OT distances suffer from computational and statistical scalability issues to high dimensions, which motivated the study of regularized OT methods like slicing, smoothing, and entropic penalty. This work establishes a unified framework for deriving limit distributions of empirical regularized OT distances, semiparametric efficiency of the plug-in empirical estimator, and bootstrap consistency. We apply the unified framework to provide a comprehensive statistical treatment of: (i) average- and max-sliced $p$-Wasserstein distances, for which several gaps in existing literature are closed; (ii) smooth distances with compactly supported kernels, the analysis of which is motivated by computational considerations; and (iii) entropic OT, for which our method generalizes existing limit distribution results and establishes, for the first time, efficiency and bootstrap consistency. While our focus is on these three regularized OT distances as applications, the flexibility of the proposed framework renders it applicable to broad classes of functionals beyond these examples.

研究の動機と目的

• 正則化最適輸送の統計的理論におけるギャップ、特に極限分布、効率性、ブートストラップの整合性についての解決。
• スライス、平滑化、エントロピー正則化といった異なる正則化手法を、一つの理論的枠組みで統一すること。
• 経験的正則化 OT 距離の半パラメトリック効率性とブートストラップの整合性を確立し、文献で未解決であったケースに対しても適用可能にする。
• 特定の正則化に限定されない一般化された手法を提供し、広範な関数型の統計的推論を可能にする。

提案手法

• Hadamard局所微分可能汎関数の拡張された関数的デルタ法を活用し、経験測度の複雑な汎関数に対する漸近正規性を導出する。
• 確率測度上の汎関数にデルタ法を適用し、有界関数空間における収束と一様性を保証するため、サブガウスィアンモーメント条件を用いる。
• 汎関数の微分に関する条件と、適切な関数クラスにおける経験過程の弱収束を確認することで、極限分布を確立する。
• エントロピー型 OT に対しては、従来の中心極限定理を従属データに一般化し、半パラメトリック効率性とブートストラップの整合性を証明する。
• 関数クラス $\mathcal{F}$ に対して $\ell^\infty(\mathcal{F})$ 上での $\hat{\mu}_n \otimes \hat{\nu}_n$ の同時収束を分析することで、合成汎関数 $\mathsf{S}(\mu, \nu)$ を取り扱う。
• サブガウスィアンモーメントの境界とパrameter空間の凸性を用いて、関数的デルタ法に必要な条件を満たし、漸近正規性と効率性を保証する。

実験結果

リサーチクエスチョン

• RQ1 スライス、平滑化、エントロピー正則化といった一般正則化の下で、経験的正則化 Wasserstein 距離の極限分布は何か？
• RQ2 正則化 OT 距離のプラグイン推定量は半パラメトリックに効率的か？ どのような条件下で？
• RQ3 ブートストラップ法は正則化 OT 距離に一貫して適用可能か？ また、この枠組みは従属データに対しても有効か？
• RQ4 コンパクトにサポートされたカーネルを用いた滑らかさ型 OT の統計的性質は、ガウス型カーネルと比較してどう異なるか？ また、計算上の影響は？
• RQ5 異なる正則化メカニズムを持つ多様な正則化 OT 方法の漸近的解析を統一する一つの理論的枠組みを構築可能か？

主な発見

• 本稿は、平均および最大スライス型 $p$-Wasserstein 距離に対する、初めての一般極限分布理論を確立し、従来の理論で未解決であったギャップを埋める。
• 経験的エントロピー型 OT 距離の半パラメトリック効率性とブートストラップの整合性を証明し、独立データに限定された先行研究を拡張し、効率性の保証を追加する。
• コンパクトにサポートされたカーネルを用いた滑らかさ型 $p$-Wasserstein 距離に対して、ガウス平滑化 OT の計量的および位相的性質が保たれることを確認し、計算に適したアップロード型アルゴリズムを提供する。
• $\sqrt{n}(\mathsf{S}(\hat{\mu}_n, \hat{\nu}_n) - \mathsf{S}(\mu, \nu))$ の極限分布は、分散 $\mathrm{Var}_\mu(\varphi) + \mathrm{Var}_\nu(\psi)$ を持つ漸近正規分布であり、半パラメトリック効率性の下限と一致する。
• この枠組みは、真の測度における汎関数の微分が点評価に対応することを確認し、これにより漸近分散が半パラメトリック下限と一致することを保証する。
• 本手法はデータの依存性に強く、一般のサブガウスィアン分布に対しても適用可能であり、統計および機械学習の多くの文脈に広く適用可能である。