[論文レビュー] Outlier-Robust Optimal Transport

Debarghya Mukherjee, Aritra Guha+3 more|arXiv (Cornell University)|Dec 14, 2020

Advanced Statistical Process Monitoring参考文献 32被引用数 12

ひとこと要約

本稿では、敵対的外れ値の影響を軽減するために輸送コストを切り詰めることで、Huberの混合モデル下での頑健な統計的推定を可能にする、外れ値に頑健な最適輸送（OT）定式化を提案する。この手法は、標準的なOTと同値であり、コストをクリッピングした形で実装されており、既存の計算OTアルゴリズムへのシームレスな統合を可能にする。合成データおよび実データにおける平均推定と外れ値検出において、優れた性能を示している。

ABSTRACT

Optimal transport (OT) measures distances between distributions in a way that depends on the geometry of the sample space. In light of recent advances in computational OT, OT distances are widely used as loss functions in machine learning. Despite their prevalence and advantages, OT loss functions can be extremely sensitive to outliers. In fact, a single adversarially-picked outlier can increase the standard $W_2$-distance arbitrarily. To address this issue, we propose an outlier-robust formulation of OT. Our formulation is convex but challenging to scale at a first glance. Our main contribution is deriving an \emph{equivalent} formulation based on cost truncation that is easy to incorporate into modern algorithms for computational OT. We demonstrate the benefits of our formulation in mean estimation problems under the Huber contamination model in simulations and outlier detection tasks on real data.

研究の動機と目的

• 標準的な最適輸送（OT）が外れ値に対して極めて敏感であり、Wasserstein-2距離が任意に増大するという問題に対処すること。
• 最大で分数εのデータ点が敵対的外れ値である状況でも、凸的かつ計算的に扱えるOT定式化を構築すること。
• 現代の計算OT手法との互換性を損なわせることなく、ε-混合モデル下での頑健な最小Kantorovich推定（MKE）を可能にすること。
• 提案された定式化が、Huberのε-混合モデル下での平均推定および実世界の外れ値検出タスクにおいてどのように有用であるかを示すこと。

提案手法

• 閾値λでコスト関数をクリッピングすることで、高コスト輸送の影響を制限する、頑健なOT定式化を提案する。
• クリッピングコストを用いた頑健なOT問題が、摂動された分布に全 Variation（TV）ノルム制約を課した制約付きOT問題と等価であることを証明する。
• 標準的なOTソルバが使用可能なように、問題を修正されたコスト行列を用いた標準的なOT問題に再定式化する、同等の双対定式化を導出する。
• クリッピングコストOTとTV制約付きOTの等価性を活用し、既存の計算OTアルゴリズムを用いた効率的な最適化を可能にする。
• 生成モデルや混合下での平均推定といったMKE問題において、標準的なOTの代わりに、頑健なOT損失を用いる。
• クリッピング定式化下で、通常は高コストを要する輸送を要するサンプルを特定することで、外れ値検出にこの手法を応用する。

実験結果

リサーチクエスチョン

• RQ1 計算効率を損なわせることなく、最適輸送を敵対的外れ値に対して頑健にできるか？
• RQ2 既存の計算OTアルゴリズムと統合可能な、頑健なOTの同等の定式化は存在するか？
• RQ3 Huberのε-混合モデル下での平均推定において、提案された頑健なOT定式化は、標準的なOTや他の発散尺度と比較してどのように性能を発揮するか？
• RQ4 実世界のデータセットにおける外れ値検出に、頑健なOT定式化を応用できるか？
• RQ5 頑健推定の文脈において、コストのクリッピングとTV制約付きOTとの理論的関係は何か？

主な発見

• コストのクリッピングを用いた提案された頑健なOT定式化は、TV制約付きOT問題と数学的に等価であり、理論的保証の獲得と、既存のソルバとの実用的統合を可能にする。
• n=1000、ε=0.2のε-混合モデル下で、Cauchy(0.1·1₅, I₅)の混合状況において、ROBOT（本研究の手法）はJS損失0.17±0.05、SH損失0.17±0.05を達成し、標準的なOTやf-発散GANよりも優れた性能を示した。
• より重い混合状況（Cauchy(2·1₅, I₅)）においても、ROBOTはJS損失を0.39±0.3に低下させたのに対し、ベースラインのf-発散GANは0.26±0.06の高い損失を示し、より優れた頑健性を示した。
• クリッピングコスト定式化下で通常は高コストを要する輸送を要するデータポイントを特定することで、本手法は外れ値を効果的に検出できる。
• 理論的分析により、クリッピングコスト定式化が、外れ値が任意に極端であっても、標準的なOTの無限大に発散する感度を回避することを確認した。
• 実データに対する実験結果から、頑健なOT定式化が、既存の手法と同等またはそれ以上の性能で効果的な外れ値検出を可能にすることが示された。