[論文レビュー] On Projection Robust Optimal Transport: Sample Complexity and Model Misspecification

Tianyi Lin, Zeyu Zheng+3 more|arXiv (Cornell University)|Jun 22, 2020

Adversarial Robustness in Machine Learning被引用数 16

ひとこと要約

本稿は、高次元統計的推論のための射影ロバスト Wasserstein (PRW) 距離および統合 PRW (IPRW) 距離を導入し、分析する。モデル不適合下での新しい標本複雑性バウンドと漸近的保証を提案する。標準 Wasserstein 距離よりも高速な収束速度を確立し、高次元および生成モデルにおける PRW の経験的成功に対する理論的裏付けを提供する。

ABSTRACT

Optimal transport (OT) distances are increasingly used as loss functions for statistical inference, notably in the learning of generative models or supervised learning. Yet, the behavior of minimum Wasserstein estimators is poorly understood, notably in high-dimensional regimes or under model misspecification. In this work we adopt the viewpoint of projection robust (PR) OT, which seeks to maximize the OT cost between two measures by choosing a $k$-dimensional subspace onto which they can be projected. Our first contribution is to establish several fundamental statistical properties of PR Wasserstein distances, complementing and improving previous literature that has been restricted to one-dimensional and well-specified cases. Next, we propose the integral PR Wasserstein (IPRW) distance as an alternative to the PRW distance, by averaging rather than optimizing on subspaces. Our complexity bounds can help explain why both PRW and IPRW distances outperform Wasserstein distances empirically in high-dimensional inference tasks. Finally, we consider parametric inference using the PRW distance. We provide an asymptotic guarantee of two types of minimum PRW estimators and formulate a central limit theorem for max-sliced Wasserstein estimator under model misspecification. To enable our analysis on PRW with projection dimension larger than one, we devise a novel combination of variational analysis and statistical theory.

研究の動機と目的

• 高次元およびモデル不適合設定下での最小 Wasserstein 評価統計的挙動の悪さを解決すること。
• 低次元射影を活用することで、最適輸送における次元の呪いを克服すること。
• 1次元射影を超える射影ロバスト OT の理論的基盤を提供すること。
• モデル不適合下での最小 PRW および期待 PRW 評価統計量の収束速度および漸近的分布を確立すること。
• 生成モデルなどの高次元タスクにおける PRW および IPRW が標準 Wasserstein 距離を上回る経験的利点を説明すること。

提案手法

• PRW における最大最適化を置き換えるために、k 次元射影における OT 距離の平均化により、統合 PRW (IPRW) 距離を提案する。
• k > 1 の PRW を分析するための、変分解析と統計理論の新規な組み合わせを導入する。
• 射影 Bernstein 尾部条件および Poincaré 不等式条件の下で、経験的 PRW および IPRW の収束速度を確立する。
• 先行研究（例：指数型 vs. ガウス型）よりも弱い尾部仮定の下で、PRW の集中不等式を導出する。
• 最小 PRW および期待最小 PRW 評価統計量の漸近的保証を提供する。特に、モデル不適合下での最大スライスド Wasserstein の中心極限定理を確立する。
• 実用的な PRW の計算のため、射影された超勾配上昇法およびリーマン最適化を用いる。実験により有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 高次元およびモデル不適合設定下での IPRW および PRW 距離の有限標本および漸近的収束速度は何か？
• RQ2 高次元における PRW の標本複雑性および集中性は、標準 Wasserstein 距離と比べてどうか？
• RQ3 モデル不適合下での最小 PRW および期待 PRW 評価統計量の漸近的分布は何か？
• RQ4 期待 PRW 評価統計量が最小 PRW 評価統計量に収束する条件は何か？
• RQ5 PRW および IPRW は、生成モデルやパrameter 推定などの高次元推論タスクでどのように経験的に性能を発揮するか？

主な発見

• IPRW について、$ p = 3/2 $ かつ $ k \geq 3 $ のとき、射影 Bernstein 尾部条件の下で収束速度は $ n^{-1/k} $ である。
• PRW について、射影 Bernstein 尾部条件の下で収束速度は $ n^{-1/k} + n^{-1/6} \sqrt{dk \log n} + n^{-2/3} dk \log n $ である。
• もし $ \mu_\star $ が射影 Poincaré 不等式を満たすならば、PRW の収束速度は $ n^{-1/k} + n^{-1/2} \sqrt{dk \log n} + n^{-2/3} dk \log n $ に改善される。
• 本稿は、モデル不適合下での最大スライスド Wasserstein 評価統計量に対する中心極限定理を確立し、先行研究を拡張する。
• 経験的結果は、IPRW および PRW が標準 Wasserstein 距離を上回ることを確認しており、特に小標本では IPRW がより安定している。
• MEPRW 評価統計量は、やや弱い仮定の下で MPRW 評価統計量に収束するが、仮定 3.5 が満たされない場合（例：25 個のガウス混合分布の場合）には収束失敗が観察された。