[論文レビュー] A Direct $ ilde{O}(1/\epsilon)$ Iteration Parallel Algorithm for Optimal Transport

Arun Jambulapati, Aaron Sidford+1 more|arXiv (Cornell University)|Jun 3, 2019

Stochastic Gradient Optimization Techniques参考文献 32被引用数 5

ひとこと要約

この論文は、最適輸送問題に対する、原始双対型の超勾配法を提案する。この手法は、ϵ-近似解を ˜O(1/ϵ) の並列反復回数、˜O(n²/ϵ) の総計算量で達成でき、従来の最良の結果と同等の計算複雑度を達成しながら、2次形式の手法や並列化不可能な部分問題を回避する。本手法は、面積凸性とミラー・プロックス型の更新を活用し、効率的かつスケーラブルな計算を可能にし、実用的な収束速度を実現する。

ABSTRACT

Optimal transportation, or computing the Wasserstein or ``earth mover's'' distance between two distributions, is a fundamental primitive which arises in many learning and statistical settings. We give an algorithm which solves this problem to additive $\epsilon$ with $ ilde{O}(1/\epsilon)$ parallel depth, and $ ilde{O}\left(n^2/\epsilon ight)$ work. Barring a breakthrough on a long-standing algorithmic open problem, this is optimal for first-order methods. Blanchet et. al. '18, Quanrud '19 obtained similar runtimes through reductions to positive linear programming and matrix scaling. However, these reduction-based algorithms use complicated subroutines which may be deemed impractical due to requiring solvers for second-order iterations (matrix scaling) or non-parallelizability (positive LP). The fastest practical algorithms run in time $ ilde{O}(\min(n^2 / \epsilon^2, n^{2.5} / \epsilon))$ (Dvurechensky et. al. '18, Lin et. al. '19). We bridge this gap by providing a parallel, first-order, $ ilde{O}(1/\epsilon)$ iteration algorithm without worse dependence on dimension, and provide preliminary experimental evidence that our algorithm may enjoy improved practical performance. We obtain this runtime via a primal-dual extragradient method, motivated by recent theoretical improvements to maximum flow (Sherman '17).

研究の動機と目的

• 行列スケーリングや正のLPソルバのような、並列化不可能または2次形式の部分問題に依存しない、1次形式で並列化可能な最適輸送用アルゴリズムの設計。
• 従来の還元に基づく手法に比べ、並列深さと実用性を向上させつつ、˜O(n²/ϵ) の最良の既知の計算複雑度を達成すること。
• 原始双対型の超勾配法に面積凸性を組み合わせることで、理論的保証のもとで最適な収束速度を達成できるかどうかの検証。
• 理論的収束性と実用的性能のギャップを埋め、Sinkhorn や APDAMD と比較して競争力のある経験的性能を示すこと。
• 正則化とステップサイズのチューニングが、最適輸送における1次形式手法の安定性と収束速度に与える影響を調査すること。

提案手法

• 最適輸送問題を、ボックス（ℓ∞-ボール）上での最小化と単体（ℓ1-ボール）上での最大化というミニマックスゲームに再定式化し、原始双対形式を可能にする。
• 最近の最大フロー問題や2人ゲームにおける進展に基づく双対の外挿法を採用。収束を保証するため、面積凸性に適合させたものである。
• 外挿法の数値的安定な実装としてミラー・プロックスを用い、双対作用素の蓄積を回避する。
• エントロピー項と二次項を含む正則化項を採用。収束を改善するためにステップサイズを動的にチューニングする。
• 通常3〜5ステップで十分な収束が得られる交互最小化を実装。ℓ1移動量が無視できるようになるまで反復を継続。
• コスト行列 C は有界な要素 ∥C∥max を持つものとし、収束解析およびステップサイズ選択にこれを利用。

実験結果

リサーチクエスチョン

• RQ1 行列スケーリングや正のLP還元に依存せずに、最適輸送問題に対して ˜O(1/ϵ) の反復複雑度を達成できる1次形式で並列化可能なアルゴリズムは可能か？
• RQ2 面積凸性とミラー・プロックス型の更新を用いることで、最適輸送において理論的収束性と実用的効率性の両立が可能か？
• RQ3 正則化とステップサイズの適応的チューニングは、理論的保証とは対照的に、実際の収束にどのように影響を与えるか？
• RQ4 なぜ大きな η を用いた Sinkhorn は理論的予測よりも速く収束するのか？1次形式手法はこの挙動を再現できるか？
• RQ5 安定性を損なわず、さまざまな正則化レベルでも効率的に動作するように、提案手法を最適化できるか？

主な発見

• 本手法は、˜O(1/ϵ) の並列深さと ˜O(n²/ϵ) の総計算量を達成しており、[BJKS18, Qua19] が得た最良の計算複雑度と同等。しかし、それらが依存する非並列化可能または2次形式の部分問題を回避している。
• 経験的結果では、実際の収束速度が ϵ−2 よりも速く、APDAMD よりも速く、定数を最適化すれば Sinkhorn に近い速度に達する。
• エントロピー正則化のレベルが変化しても安定に動作し、正則化を適切にチューニングすることで収束が著しく向上。理論的要因10倍は過剰に保守的である可能性を示唆。
• 最適化された設定（エントロピー=3、ステップサイズ=∥d∥∞）は、APDAMD を上回り、Sinkhorn と同等の性能を示し、実用的妥当性が明確に示された。
• 正則化の変更に対しても収束が安定しており、理論的境界が示す正則化の大きさよりも小さい値で十分に動作することが示唆された。
• 予備実験では、ステップサイズや正則化の適応的チューニングにより、Sinkhorn や APDAMD と同等またはそれを上回る性能が得られる可能性が示された。