[論文レビュー] Computational Optimal Transport: Complexity by Accelerated Gradient Descent Is Better Than by Sinkhorn's Algorithm

Pavel Dvurechensky, Alexander Gasnikov+1 more|arXiv (Cornell University)|Feb 12, 2018

Stochastic Gradient Optimization Techniques参考文献 2被引用数 68

ひとこと要約

本論文は離散分布間のOT距離を近似する2つのアルゴリズムを分析する：エントロピー正則化を用いる Sinkhorn と、新規の Adaptive Primal-Dual Accelerated Gradient Descent (APDAGD)；APDAGDは ε依存性でより良い性能を達成し、エントロピ正則化を超える一般的な正則化にも対応する。

ABSTRACT

We analyze two algorithms for approximating the general optimal transport (OT) distance between two discrete distributions of size $n$, up to accuracy $\varepsilon$. For the first algorithm, which is based on the celebrated Sinkhorn's algorithm, we prove the complexity bound $\widetilde{O}\left({n^2/\varepsilon^2} ight)$ arithmetic operations. For the second one, which is based on our novel Adaptive Primal-Dual Accelerated Gradient Descent (APDAGD) algorithm, we prove the complexity bound $\widetilde{O}\left(\min\left\{n^{9/4}/\varepsilon, n^{2}/\varepsilon^2 ight\} ight)$ arithmetic operations. Both bounds have better dependence on $\varepsilon$ than the state-of-the-art result given by $\widetilde{O}\left({n^2/\varepsilon^3} ight)$. Our second algorithm not only has better dependence on $\varepsilon$ in the complexity bound, but also is not specific to entropic regularization and can solve the OT problem with different regularizers.

研究の動機と目的

• 等サイズの離散分布間でOT距離を効率的に計算する必要性を動機づける。
• Sinkhornのアルゴリズムを用いたエントロピー正則化OTの複雑さ境界を改善。
• 線探索を伴う一般正則化に対して柔軟で加速的な手法としてAPDAGDを導入。
• APDAGDでOTを解く際の理論的保証と ε依存の複雑さを導出。
• 画像様データでの数値実験を通じて実践的な性能を示す。

提案手法

• 正則化されたOT dual問題を解くデュアル更新として Sinkhorn アルゴリズムを再検討し、改善された反復境界を導出。
• 線探索と primal-dual 更新を備え、一般の強凸正則化に対する Adaptive Primal-Dual Accelerated Gradient Descent (APDAGD) を提供。
• エントロピー正則化OTへのAPDAGDを適用し、収束性と複雑さの保証を導出。
• OT距離近似のため、APDAGDと運搬多面体 U(r,c) への射影を組み合わせたAlgorithm 4を開発。
• エントロピー正則化時、 ε依存と ∥C∥∞依存が有利な ε近似を達成することを示す。
• カーネルコストの高いOT計算の並列化可能性と実践的考慮事項を論じる。

実験結果

リサーチクエスチョン

• RQ1 Sinkhornのアルゴリズムを用いた場合、エントロピー正準化OTを既存の境界よりも効率的に近似できるか。
• RQ2 一般的な正則化で、適応型 primal-dual 加速勾配法がより速い ε正確なOT近似を提供するか。
• RQ3 提案されたAPDAGD法のOTに対する ε依存とノルム定数依存は何か。
• RQ4 エントロピーを超える非エントロピー正則化をフレームワークが扱い、収束保証を維持できるか。
• RQ5 異なる n と正則化を持つ離散化分布に対して、SinkhornとAPDAGDの実用的な性能はどう比較されるか。

主な発見

• Sinkhornのアルゴリズムは ε 内に OT を近似でき、O(n^2 ∥C∥^2_∞ ln n / ε^2) 演算で。
• APDAGDは ε-近似を O(min(n^(9/4)/(√ε) ∥C∥∞ ln n / ε, n^2 ∥C∥∞ ln n / ε^2)) 演算で達成。
• APDAGDはエントロピー正則化に限定されず、一般の強凸正則化と動作する。
• APDAGDには線探索とデュアル性ギャップおよび制約不適合性に基づくオンライン停止基準を含む。
• フレームワークは並列化をサポートし、OTカーネル exp(−C/γ) が効果的に適用可能な場合実用的。
• MNIST由来データの実証実験は Sinkhorn と APDAGD の実用的な性能差を示している。