[論文レビュー] When OT meets MoM: Robust estimation of Wasserstein Distance

Guillaume Staerman, Pierre Laforgue+2 more|arXiv (Cornell University)|Jun 18, 2020

Anomaly Detection Techniques and Applications参考文献 45被引用数 16

ひとこと要約

本稿では、外れ値によるデータの汚染に耐性を持つ Wasserstein 距離の推定器を、Median-of-Means (MoM) フレームワークを用いて提案する。Kantorovich-Rubinstein の双対性と MoM に基づく U 時計統計量を活用することで、非漸近的バウンドを伴う一貫性のある推定器を導入し、WGAN のロバスト化に有効であることを示した。CIFAR10 および Fashion MNIST の汚染済みベンチマークにおいて、FID スコアが低くなった。

ABSTRACT

Issued from Optimal Transport, the Wasserstein distance has gained importance in Machine Learning due to its appealing geometrical properties and the increasing availability of efficient approximations. In this work, we consider the problem of estimating the Wasserstein distance between two probability distributions when observations are polluted by outliers. To that end, we investigate how to leverage Medians of Means (MoM) estimators to robustify the estimation of Wasserstein distance. Exploiting the dual Kantorovitch formulation of Wasserstein distance, we introduce and discuss novel MoM-based robust estimators whose consistency is studied under a data contamination model and for which convergence rates are provided. These MoM estimators enable to make Wasserstein Generative Adversarial Network (WGAN) robust to outliers, as witnessed by an empirical study on two benchmarks CIFAR10 and Fashion MNIST. Eventually, we discuss how to combine MoM with the entropy-regularized approximation of the Wasserstein distance and propose a simple MoM-based re-weighting scheme that could be used in conjunction with the Sinkhorn algorithm.

研究の動機と目的

• 実世界の機械学習において深刻な問題である、データ汚染下での Wasserstein 距離推定のロバスト性の欠如に対処する。
• データ汚染モデル下でも一貫性と収束性を維持する Wasserstein 距離のロバスト推定器を開発する。
• MoM 法を Wasserstein 距離の双対式に統合し、サブガウス型の挙動と外れ値への耐性を確保する。
• 重みクリッピングを用いたニューラルネットワークを用いた、MoM に基づく Wasserstein 推定器を計算する実用的アルゴリズムを設計する。
• 提案された推定器が、ノイズのあるデータ条件下での生成モデリングにおける WGAN のロバスト化にどのように有効であるかを実証する。

提案手法

• Kantorovich-Rubinstein の双対性を用いて Wasserstein 距離を定式化し、MoM を U 時計統計量に適用可能にする。
• 3つの新しい MoM に基づく推定器を導入：双対目的関数の MoM、Lipschitz 制約付き双対目的関数の MoM、および MoU（U 時計統計量の中央値）推定器。
• 生成サンプルではなく、実データ分布に対してのみ MoM を適用し、ミニバッチごとのブロック別中央値計算を実施する。
• 批判ネットワークを、汚染されたミニバッチ上で中央値に基づく損失推定によって訓練する MoM/MoU 勾配降下法を設計する。
• Lipschitz連続性を保証するため、批判ネットワークで重みクリッピングを実装し、標準的な WGAN の実装と整合させる。
• 各訓練ステップでブロックベースの中央値選択戦略を導入することで、ロバスト性を確保する。計算コストは増加するが、外れ値への耐性が向上する。

実験結果

リサーチクエスチョン

• RQ1 Median-of-Means (MoM) アプローチを Wasserstein 距離の双対式と効果的に組み合わせることで、データ汚染下でもロバストな推定器が得られるか？
• RQ2 外れ値が存在する状況下で、MoM に基づく Wasserstein 推定器の理論的一貫性と非漸近的収束性はどのように保証されるか？
• RQ3 ブロックサイズ（独自のチューニングパラメータ）の選択が、実用的な MoM に基づく推定器の性能とロバスト性にどのように影響を与えるか？
• RQ4 MoM に基づく Wasserstein 推定が、外れ値が存在する状況下で WGAN のロバスト性を効果的に向上させられるか？
• RQ5 CIFAR10 や Fashion MNIST の汚染済みベンチマークにおいて、MoMWGAN は標準 WGAN よりもどれほど生成品質が向上するか？

主な発見

• 提案された MoM に基づく推定器は、$Γ \cup \mathcal{I}$ 汚染モデル下でも強い一貫性とサブガウス型の分散挙動を示す。
• 非漸近的収束レートが導出され、有限サンプル下での性能に対する理論的保証が得られた。
• 汚染済み CIFAR10 において、MoMWGAN は FID スコア 55.9 を達成したのに対し、標準 WGAN は 57 であった。これは、ロバスト性の向上を示している。
• 汚染済み Fashion MNIST では、MoMWGAN が FID スコア 13.2、WGAN が 13.8 であった。ノイズ下でも一貫した性能向上が確認された。
• 視覚的評価では、MoMWGAN は標準 WGAN がノイズアーチファクトを再現するのとは異なり、クリアな画像を生成していることが確認された。
• 感度分析の結果、ブロックサイズ $K_{\mathbf{X}}$ が性能に顕著な影響を与えることが判明。実験では $K_{\mathbf{X}} = 4$ が最適な結果をもたらした。