[論文レビュー] Statistical, Robustness, and Computational Guarantees for Sliced Wasserstein Distances

Sloan Nietert, Ritwik Sadhu+2 more|arXiv (Cornell University)|Oct 17, 2022

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿は、対数凹分布下で、高速な経験的収束レート、次元に依存しないロバスト性の保証（ロバスト平均推定と同等）、およびモンテカルロ法と勾配降下法の計算複雑性の境界を確立する、スライスド・ワサーライン距離の包括的な理論的分析を提供する。高次元においては平均スライス推定における数値積分誤差が加速されることを示し、最大スライス最適化におけるO(ε⁻⁴)の複雑性境界を証明する。

ABSTRACT

Sliced Wasserstein distances preserve properties of classic Wasserstein distances while being more scalable for computation and estimation in high dimensions. The goal of this work is to quantify this scalability from three key aspects: (i) empirical convergence rates; (ii) robustness to data contamination; and (iii) efficient computational methods. For empirical convergence, we derive fast rates with explicit dependence of constants on dimension, subject to log-concavity of the population distributions. For robustness, we characterize minimax optimal, dimension-free robust estimation risks, and show an equivalence between robust sliced 1-Wasserstein estimation and robust mean estimation. This enables lifting statistical and algorithmic guarantees available for the latter to the sliced 1-Wasserstein setting. Moving on to computational aspects, we analyze the Monte Carlo estimator for the average-sliced distance, demonstrating that larger dimension can result in faster convergence of the numerical integration error. For the max-sliced distance, we focus on a subgradient-based local optimization algorithm that is frequently used in practice, albeit without formal guarantees, and establish an $O(ε^{-4})$ computational complexity bound for it. Our theory is validated by numerical experiments, which altogether provide a comprehensive quantitative account of the scalability question.

研究の動機と目的

• スライスド・ワサーライン距離の統計的・ロバスト性・計算的スケーラビリティを定量化すること。
• 平均スライスおよび最大スライスのワサーライン距離の経験的推定に対する、次元に依存する明示的な高速収束レートを導出すること。
• データの汚染下での推定リスクを特徴づけ、ロバスト平均推定と同等の関係を確立すること。
• 平均スライス距離におけるモンテカルロ積分と最大スライス距離における勾配降下法の計算効率を分析すること。
• 合成データおよび実世界データ（汚染下でのGAN訓練含む）を用いた数値実験により理論的発見を検証すること。

提案手法

• 対数凹分布下で、スライスド・ワサーライン距離の高速な経験的収束レートを導出し、定数の次元依存性を明示する。
• ロバストなスライスド1-ワサーライン推定とロバスト平均推定との間の同等性を確立し、既知の保証の転送を可能にする。
• 平均スライス距離におけるモンテカルロ積分誤差を分析し、次元が高くなると分散の減少により収束が速くなることを示す。
• 最大スライス距離推定に用いられる勾配ベースの局所最適化アルゴリズムに対して、O(ε⁻⁴)の計算複雑性境界を提供する。
• 集中不等式とメトリックエントロピーの議論を用いて、推定誤差およびロバスト性リスクの高確率境界を導出する。
• ガウス・ミックスチャネル、バーコンター計算、汚染下でのGAN訓練を含む数値実験を通じて理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 スライスド・ワサーライン距離の明示的経験的収束レートは何か？また、対数凹分布下で次元にどのように依存するか？
• RQ2 データの汚染はスライスド・ワサーライン距離の推定にどのように影響するか？ミニマックス最適ロバストリスクは何か？
• RQ3 スライスド・ワサーライン距離のロバスト性は次元に依存しない形で特徴づけられるか？また、ロバスト平均推定とどのように関係するか？
• RQ4 平均スライス距離におけるモンテカルロ積分の計算誤差は次元にどのようにスケーリングされるか？
• RQ5 最大スライス・ワサーライン距離の勾配ベース最適化の計算複雑性は何か？また、境界を付与できるか？

主な発見

• 対数凹分布下で、次元に明示的な依存性を持つ平均スライス・ワサーライン距離の経験的収束レートが確立され、ほぼパラメトリックなレートを達成する。
• スライスド1-ワサーライン距離のロバスト推定は次元に依存せず、ミニマックス最適であり、ロバスト平均推定と同等のリスクを示す。
• 平均スライス距離におけるモンテカルロ推定量は、射影距離関数の分散が低減するため、次元が高くなると数値積分誤差の収束が速くなる。
• 最大スライス・ワサーライン距離に関しては、勾配ベースの局所最適化アルゴリズムの計算複雑性境界がO(ε⁻⁴)であることが示された。
• 数値実験により理論的予測が確認され、高次元では収束が改善され、GAN訓練においても汚染下でのロバスト性が示された。
• 実用的状況（汚染されたMNISTデータを用いた生成モデル）において、ロバスト性および計算に関する理論的保証が検証された。