[論文レビュー] On the Efficiency of the Sinkhorn and Greenkhorn Algorithms and Their Acceleration for Optimal Transport

Tianyi Lin, Nhat Ho+1 more|arXiv (Cornell University)|Jun 1, 2019

Stochastic Gradient Optimization Techniques参考文献 49被引用数 14

ひとこと要約

本稿では、正則化付き最適輸送アルゴリズムの複雑さの上限を改善し、Greenkhornアルゴリズムが $×sim\mathcal{O}(n^2\varepsilon^{-2})$ の複雑さを達成することを示しており、これはSinkhornの既知の最良の境界と一致し、その経験的優位性を説明する。さらに、加速されたバージョンを導入し、$×sim\mathcal{O}(n^{7/3}\varepsilon^{-1})$ の複雑さを持つ適応的プリムアル・デュアルミラー降下法を含む。これは、$\varepsilon$ 依存性において、先行手法を上回る性能を示す。

ABSTRACT

We present new complexity results for several algorithms that approximately solve the regularized optimal transport (OT) problem between two discrete probability measures with at most $n$ atoms. First, we show that a greedy variant of the classical Sinkhorn algorithm, known as the extit{Greenkhorn} algorithm, achieves the complexity bound of $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$, which improves the best known bound $\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$. Notably, this matches the best known complexity bound of the Sinkhorn algorithm and explains the superior performance of the Greenkhorn algorithm in practice. Furthermore, we generalize an adaptive primal-dual accelerated gradient descent (APDAGD) algorithm with mirror mapping $\phi$ and show that the resulting extit{adaptive primal-dual accelerated mirror descent} (APDAMD) algorithm achieves the complexity bound of $\widetilde{\mathcal{O}}(n^2\sqrt{\delta}\varepsilon^{-1})$ where $\delta>0$ depends on $\phi$. We point out that an existing complexity bound for the APDAGD algorithm is not valid in general using a simple counterexample and then establish the complexity bound of $\widetilde{\mathcal{O}}(n^{5/2}\varepsilon^{-1})$ by exploiting the connection between the APDAMD and APDAGD algorithms. Moreover, we introduce accelerated Sinkhorn and Greenkhorn algorithms that achieve the complexity bound of $\widetilde{\mathcal{O}}(n^{7/3}\varepsilon^{-1})$, which improves on the complexity bounds $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$ of Sinkhorn and Greenkhorn algorithms in terms of $\varepsilon$. Experimental results on synthetic and real datasets demonstrate the favorable performance of new algorithms in practice.

研究の動機と目的

• Greenkhornアルゴリズムのよりタイトな複雑さの上限を確立すること。これは、最適輸送において標準的なSinkhornよりも経験的に優れている。
• ミラー写像を用いた既存の適応的プリムアル・デュアル加速勾配降下法（APDAGD）の修正と一般化。
• SinkhornおよびGreenkhornの加速版を設計・分析し、精度パラメータ $\varepsilon$ における収束速度の向上を図ること。
• APDAMDアルゴリズムの厳密な複雑さの分析を提供し、反例を用いてAPDAGDの先行の上限の有効性を明確にすること。
• 合成データおよび実世界のデータセットを用いた実験を通じて理論的改善の妥当性を検証すること。

提案手法

• 各反復で最も不均衡な双対変数のみを更新する、Sinkhornのグリーディーな変種、Greenkhornを提案。これにより、計算の無駄が削減される。
• 一般的なミラー写像 $\phi$ を用いた、適応的プリムアル・デュアル加速ミラー降下（APDAMD）アルゴリズムを導入。これにより、柔軟かつ適応的な更新が可能になる。
• APDAGDの以前に主張された複雑さの上限を反例を用いて訂正。一般設定では成り立たないことが示される。
• APDAMDとAPDAGDとの関連を活用し、APDAMDの新しい複雑さの上限 $×sim\mathcal{O}(n^{5/2}\varepsilon^{-1})$ を確立。
• ネステロフ風の加速を用いて、SinkhornおよびGreenkhornの加速版を設計。$×sim\mathcal{O}(n^{7/3}\varepsilon^{-1})$ の複雑さを達成。
• 凸最適化と双対性に裏付けられた理論的分析を用い、正則化付き最適輸送設定下での収束速度を導出。

実験結果

リサーチクエスチョン

• RQ1 Greenkhornアルゴリズムの真の複雑さは何か？ そして、標準的なSinkhornアルゴリズムのものと一致するか、それ以上か？
• RQ2 APDAGDアルゴリズムの主張された複雑さの上限は、普遍的に適用可能か？ あるいは、特定の条件下でのみ成り立つか？
• RQ3 ミラー降下法をどのように変更すれば、正則化付き最適輸送問題における加速収束を達成できるか？
• RQ4 加速の理論的利点をGreenkhornフレームワークに拡張できるか？ どのような複雑さの上限が得られるか？
• RQ5 提案された加速アルゴリズムは、実際の応用において、特に $\varepsilon$ 依存性において、既存手法を上回るか？

主な発見

• Greenkhornアルゴリズムは、$×sim\mathcal{O}(n^2\varepsilon^{-2})$ の複雑さの上限を達成し、これは標準的なSinkhornアルゴリズムの最良の既知の境界と一致する。
• APDAMDアルゴリズムは、$×sim\mathcal{O}(n^2\sqrt{\delta}\varepsilon^{-1})$ の複雑さの上限を達成し、ここで $\delta>0$ はミラー写像 $\phi$ に依存する。これは、先行研究を一般化する。
• 以前に主張されたAPDAGDアルゴリズムの複雑さの上限を無効にする反例を提示。一般設定では成り立たないことが示される。
• APDAMDとAPDAGDとの関連を活用し、APDAMDフレームワークの新しい複雑さの上限 $×sim\mathcal{O}(n^{5/2}\varepsilon^{-1})$ を確立。
• 提案された加速されたSinkhornおよびGreenkhornアルゴリズムは、$×sim\mathcal{O}(n^{7/3}\varepsilon^{-1})$ の複雑さを達成し、$\varepsilon$ 依存性において、標準的なバージョンの $×sim\mathcal{O}(n^2\varepsilon^{-2})$ の上限を改善する。
• 合成データおよび実データセットを用いた実験結果により、新しい加速アルゴリズムがより速い収束と実際の性能向上を達成することが確認された。