[論文レビュー] Subspace Robust Wasserstein Distances

François-Pierre Paty, Marco Cuturi|arXiv (Cornell University)|Jan 25, 2019

Point processes and geometric inequalities被引用数 55

ひとこと要約

この論文は Subspace Robust Wasserstein Distances (SRW) を導入する。k次元サブスペースを用いて最大-最小（または最小-最大）輸送コストを定義する頑健な最適輸送の変種であり、厳密な凸緩和とエントロピ-正則化アルゴリズムを用いて計算する。

ABSTRACT

Making sense of Wasserstein distances between discrete measures in high-dimensional settings remains a challenge. Recent work has advocated a two-step approach to improve robustness and facilitate the computation of optimal transport, using for instance projections on random real lines, or a preliminary quantization of the measures to reduce the size of their support. We propose in this work a "max-min" robust variant of the Wasserstein distance by considering the maximal possible distance that can be realized between two measures, assuming they can be projected orthogonally on a lower $k$-dimensional subspace. Alternatively, we show that the corresponding "min-max" OT problem has a tight convex relaxation which can be cast as that of finding an optimal transport plan with a low transportation cost, where the cost is alternatively defined as the sum of the $k$ largest eigenvalues of the second order moment matrix of the displacements (or matchings) corresponding to that plan (the usual OT definition only considers the trace of that matrix). We show that both quantities inherit several favorable properties from the OT geometry. We propose two algorithms to compute the latter formulation using entropic regularization, and illustrate the interest of this approach empirically.

研究の動機と目的

• 高次元における標準 OT の不安定性と頑健な指標の必要性を動機づける。
• ウォッツァースタイン距離の射影とサブスペース頑健性の概念を導入する。
• 低ランク固有値目的に還元する凸緩和を導出する。
• エントロピー正則化と鞍点最適化を用いてSRWを計算するアルゴリズムを提供する。
• 合成データと実データで頑健性と実用的な性能を示す。

提案手法

• k次元射影頑健 Wasserstein 距離 PRW と k次元サブスペース頑健 Wasserstein 距離 SRW を定義する。
• SRW は変位二次モーメント V_pi の上位 k 個の固有値の和の輸送計画の最小として表すことができる。
• 厳密な凸緩和（定理1）を証明し、SRW^2 を d_Omega を用いたマハラノビス距離のワッサースタインコストの k 次元 Omega 上の最大と等価とする。
• Omega と輸送計画を最適化するための計算戦略を開発する：射影型超勾配法とエントロピー正則化付きフランク-ウルフ法。
• 初期化と停止基準について議論する。ウォームスタートや d から 1 へ順次 k を用いた反復スキームを含む。

実験結果

リサーチクエスチョン

• RQ1 高次元におけるサブスペース射影を介して Wasserstein 距離をどのように頑健化できるか。
• RQ2 最大-最小の射影問題を解ける凸緩和へ再構成できるか。
• RQ3 SRW と標準 OT は幾何学と距離の観点でどのような関係にあるか。
• RQ4 エントロピー正則化と鞍点最適化を用いて SRW を効率的に計算するにはどうすればよいか。
• RQ5 SRW のノイズ耐性と測地線構造の保存性はどの程度か。

主な発見

• SRW は主要な OT の性質を受け継ぎ、次元依存定数まで Wasserstein に同等であり、S_k と W の関係に明示的な境界を持つ。
• SRW は SRW 空間における幾何的等長の測地線補間を定義し、OT の測地線構造を模倣する。
• 変位共分散行列の上位 k 個の固有値の和が SRW を支配し、計算のための凸緩和を可能にする。
• 二つの実用的アルゴリズムを提案する：射影型超勾配法とエントロピー正則化付きフランク-ウルフ法のいずれも内在的に OT の解を解く。
• 合成ハイパーキューブの断片化、複数変量ガウス様設定、実データの映画脚本データで、SRW のノイズ耐性と次元性の変化下での有利な挙動を実証する。