[論文レビュー] Projection Robust Wasserstein Distance and Riemannian Optimization

Tianyi Lin, Chenyou Fan+3 more|arXiv (Cornell University)|Jun 12, 2020

Geometric Analysis and Curvature Flows参考文献 83被引用数 5

ひとこと要約

本稿では、非凸性および非滑らか性のため従来は計算が困難とされてきたProjection Robust Wasserstein (PRW) 距離を、効率的に計算するためのリーマン最適化フレームワークを提案する。ミニマックス的観点での難解性に関する結果にもかかわらず、著者らはPRWが実際には効率的に計算可能であることを示しており、MNIST やシェイクスピアのテキストコーパスを含む合成データおよび実世界のデータにおいて、凸緩和手法（SRW）よりもロバスト性およびサンプル複雑度の面で優れている。

ABSTRACT

Projection robust Wasserstein (PRW) distance, or Wasserstein projection pursuit (WPP), is a robust variant of the Wasserstein distance. Recent work suggests that this quantity is more robust than the standard Wasserstein distance, in particular when comparing probability measures in high-dimensions. However, it is ruled out for practical application because the optimization model is essentially non-convex and non-smooth which makes the computation intractable. Our contribution in this paper is to revisit the original motivation behind WPP/PRW, but take the hard route of showing that, despite its non-convexity and lack of nonsmoothness, and even despite some hardness results proved by~\citet{Niles-2019-Estimation} in a minimax sense, the original formulation for PRW/WPP extit{can} be efficiently computed in practice using Riemannian optimization, yielding in relevant cases better behavior than its convex relaxation. More specifically, we provide three simple algorithms with solid theoretical guarantee on their complexity bound (one in the appendix), and demonstrate their effectiveness and efficiency by conducing extensive experiments on synthetic and real data. This paper provides a first step into a computational theory of the PRW distance and provides the links between optimal transport and Riemannian optimization.

研究の動機と目的

• 非凸かつ非滑らかであるがために計算が困難とされてきたProjection Robust Wasserstein (PRW) 距離の計算困難性に対処すること。
• PRWがリーマン最適化を用いることで実際の計算が可能であることを示し、従来の非実行可能性に関する主張に反するものであること。
• 離散設定におけるPRWの計算のための理論的収束保証と実用的アルゴリズムを提供すること。
• 実験的に、PRWが特に分散が大きいノイズ下で、SRWなどの凸緩和手法よりも優れたロバスト性およびサンプル複雑度を示すことを検証すること。
• PRWの計算理論を確立し、最適輸送とリーマン最適化を橋渡しすること。

提案手法

• 正規直交k-フレームからなるスタイフェル多様体上での非凸・非滑らか最適化問題としてPRW距離を定式化する。
• 特にリーマン共役勾配法および信頼領域法を用いて、スタイフェル多様体上で部分空間選択問題を解くリーマン最適化技術を適用する。
• 数値的安定性および収束性を向上させるために、PRW定式化にエントロピー正則化を導入する。
• 理論的複雑度バウンズを備えた3つのアルゴリズム（うち1つは付録に記載）を開発し、近似的なグローバル最適解への収束を保証する。
• 最適化領域の多様体構造をリーマン幾何学を用いて活用し、効率的かつ安定した更新を可能にする。
• リーマン最適化とエントロピー正則化を組み合わせることで、計算効率と統計的ロバスト性のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 非凸かつ非滑らかであるにもかかわらず、PRW距離は実際の計算が可能であるか？
• RQ2 リーマン最適化は、SRWなどの凸緩和手法に代わる実用的かつスケーラブルなPRW計算の代替手段となり得るか？
• RQ3 分散が大きいノイズ下において、PRWはSRWおよび標準Wasserstein距離と比べてどのようにロバスト性に優れるか？
• RQ4 MNIST やシェイクスピアのテキストコーパスなどの実世界データセットにおいて、PRWの実効的性能はいかがなものか？
• RQ5 提案されたリーマン最適化フレームワークは、離散設定におけるPRWに対して理論的収束保証を達成できるか？

主な発見

• 8部のシェイクスピア戯曲のコーパスにおいて、PRW距離はSRW距離よりも常に小さく、テキスト類似性に関する人間の直感とより整合的であることを示している。
• MNISTの数字分類において、PRW距離は人間の数字類似性認識とより一貫しており、D1とD7、D4とD9といった視覚的に類似したペアが正しく最小距離として特定されている。
• Niles-WeedとRigollet (2019)、Linら (2021) の理論的結果に基づき、やや緩い分布的条件下でも、PRWはSRWよりも優れたサンプル複雑度を達成している。
• 実験により、ノイズの分散が中程度から高い場合、特に高次元設定下で、PRWはSRWおよび標準Wasserstein距離よりもロバストであることが示された。
• 提案されたリーマン最適化アルゴリズムは信頼性高く収束し、計算効率および解の品質の面でFrank-Wolfeに基づく手法を上回っている。
• 測度間の最適2次元投影（例：'Dunkirk' と 'Interstellar' 間）は意味的な構造を明確に示しており、濃い紫色で強調された共通語彙が意味的解釈可能性を裏付け、PRWの解釈可能性を確認している。