[論文レビュー] On the Efficiency of Sinkhorn and Greenkhorn and Their Acceleration for Optimal Transport

Tianyi Lin, Nhat Ho+1 more|arXiv (Cornell University)|Jun 1, 2019

Stochastic Gradient Optimization Techniques参考文献 57被引用数 5

ひとこと要約

本稿は、最適輸送アルゴリズムの複雑さの上限を改善し、Greenkhornが $×(n^2\varepsilon^{-2})$ の複雑さを達成することを示している—Sinkhornと同等—同時に、$×(n^{7/3}\varepsilon^{-4/3})$ の複雑さを持つ決定的で加速されたSinkhornアルゴリズムを導入し、$1/\varepsilon$ および $n$ への依存性において従来の手法を上回っている。また、APDAGDの複雑さの上限についても訂正・精錬し、ミラー写像を用いた新しい加速版を提案している。

ABSTRACT

We present several new complexity results for the algorithms that approximately solve the optimal transport (OT) problem between two discrete probability measures with at most $n$ atoms. First, we improve the complexity bound of a greedy variant of the Sinkhorn algorithm, known as extit{Greenkhorn} algorithm, from $\widetilde{O}(n^2\varepsilon^{-3})$ to $\widetilde{O}(n^2\varepsilon^{-2})$. Notably, this matches the best known complexity bound of the Sinkhorn algorithm and sheds the light to superior practical performance of the Greenkhorn algorithm. Second, we generalize an adaptive primal-dual accelerated gradient descent (APDAGD) algorithm~\citep{Dvurechensky-2018-Computational} with mirror mapping $\phi$ and prove that the resulting APDAMD algorithm achieves the complexity bound of $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$ where $\delta>0$ refers to the regularity of $\phi$. We demonstrate that the complexity bound of $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ is invalid for the APDAGD algorithm and establish a new complexity bound of $\widetilde{O}(n^{5/2}\varepsilon^{-1})$. Moreover, we propose a extit{deterministic} accelerated Sinkhorn algorithm and prove that it achieves the complexity bound of $\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$ by incorporating an estimate sequence. Therefore, the accelerated Sinkhorn algorithm outperforms the Sinkhorn and Greenkhorn algorithms in terms of $1/\varepsilon$ and the APDAGD and accelerated alternating minimization~\citep{Guminov-2021-Combination} algorithms in terms of $n$. Finally, we conduct experiments on synthetic data and real images with the proposed algorithms in the paper and demonstrate their efficiency via numerical results.

研究の動機と目的

• 離散確率測度間の最適輸送に対するGreenkhornアルゴリズムの理論的複雑さの上限を改善すること。
• 任意のミラー写像 $\phi$ を用いた、適応的プリムアルトリアル・加速勾配降下法（APDAGD）の複雑さ解析を一般化・精錬すること。
• 一般ミラー写像 $\phi$ を用いたAPDAGDのよりタイトで正しい複雑さの上限を確立すること。以前に提示された $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ の上限は誤りであることを是正する。
• 推定列を統合したSinkhornフレームワークを用いて、$n$ および $\varepsilon$ に優れる決定的で加速されたSinkhornアルゴリズムを設計すること。
• 合成データおよび実画像を用いた実験を通じて、理論的改善の妥当性を検証すること。

提案手法

• ミラー写像 $\phi$ を持つ一般化された加速プリムアルトリアル・デュアルアルゴリズム（APDAMD）を提案し、$\delta$ が $\phi$ の正則性を測るものであるとき、複雑さの上限 $\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$ を証明する。
• APDAGDの複雑さの上限を再検討・是正し、以前に提示された $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ が誤りであることを示し、正しい上限として $\widetilde{O}(n^{5/2}\varepsilon^{-1})$ を確立する。
• 推定列をSinkhornフレームワークに組み込むことで、決定的で加速されたSinkhornアルゴリズムを導入し、収束速度を向上させる。
• 精密化された解析を用いてGreenkhornアルゴリズムを分析し、その複雑さを $\widetilde{O}(n^2\varepsilon^{-3})$ から $\widetilde{O}(n^2\varepsilon^{-2})$ に低減させ、標準Sinkhornの理論的上限と一致させる。
• APDAMDフレームワークにおいて、ミラー降下と適応的ステップサイズを用いることで、ミラー写像 $\phi$ の一般正則性条件のもとで収束を保証する。
• 合成分布および実画像データセットを用いた数値実験を通じて、理論的主張の妥当性を検証し、提案されたすべてのアルゴリズム間での性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 Greenkhornアルゴリズムの複雑さの上限を、標準Sinkhornアルゴリズムと同等のものに改善できるか？
• RQ2 一般ミラー写像 $\phi$ を用いたAPDAGDアルゴリズムの正しいかつ最もタイトな複雑さの上限は何か？
• RQ3 $n$ および $\varepsilon$ に優れる、理論的に保証されたより良い収束を示す決定的で加速されたSinkhornアルゴリズムを設計できるか？
• RQ4 ミラー写像 $\phi$ の正則性パラメータ $\delta$ は、加速されたプリムアルトリアル・デュアル法の収束速度にどのように影響するか？
• RQ5 改善された理論的上限は、合成および実世界の最適輸送問題において、実用的性能の向上に反映されるか？

主な発見

• Greenkhornアルゴリズムは、$\widetilde{O}(n^2\varepsilon^{-2})$ の複雑さの上限を達成し、標準Sinkhornアルゴリズムの最高水準の境界と一致する。
• APDAGDに以前に提示された複雑さの上限 $\widetilde{O}(\min\{n^{9/4}\varepsilon^{-1}, n^2\varepsilon^{-2}\})$ は誤りであり、正しい上限は $\widetilde{O}(n^{5/2}\varepsilon^{-1})$ である。
• 提案されたAPDAMDアルゴリズムは、$\delta$ がミラー写像 $\phi$ の正則性を定量化するものであるとき、$\widetilde{O}(n^2\sqrt{\delta}\varepsilon^{-1})$ の複雑さを達成する。
• 決定的で加速されたSinkhornアルゴリズムは、$\widetilde{O}(n^{7/3}\varepsilon^{-4/3})$ の複雑さを達成し、$1/\varepsilon$ への依存性において、SinkhornおよびGreenkhornの両方を上回る。
• 加速されたSinkhornアルゴリズムは、$n$ への依存性においてAPDAGDおよび加速された交互最小化を上回り、より優れたスケーラビリティを達成する。
• 合成データおよび実画像を用いた数値実験により、提案されたアルゴリズムが既存の手法に比べて効率的で実用的に優れていることが確認された。