[論文レビュー] On Efficient Optimal Transport: An Analysis of Greedy and Accelerated Mirror Descent Algorithms

Tianyi Lin, Nhat Ho+1 more|arXiv (Cornell University)|Jan 19, 2019

Stochastic Gradient Optimization Techniques参考文献 36被引用数 22

ひとこと要約

本稿は、正則化最適輸送のためのグリーンカーンアルゴリズムの理論的複雑度を、$ olimits\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$ から $ olimits\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$ に改善し、シンクホルンアルゴリズムの最高水準の境界と一致させた。さらに、Bregman発散の強い凸性モジュラスの逆数 $ olimits\delta$ を用いた、適応的プライマルデュアル加速ミラー降下（APDAMD）アルゴリズムを導入し、複雑度 $ olimits\widetilde{\mathcal{O}}(n^2\sqrt{\delta}\varepsilon^{-1})$ を達成した。実験的に優れた性能と頑健性を示した。

ABSTRACT

We provide theoretical analyses for two algorithms that solve the regularized optimal transport (OT) problem between two discrete probability measures with at most $n$ atoms. We show that a greedy variant of the classical Sinkhorn algorithm, known as the \emph{Greenkhorn algorithm}, can be improved to $\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$, improving on the best known complexity bound of $\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$. Notably, this matches the best known complexity bound for the Sinkhorn algorithm and helps explain why the Greenkhorn algorithm can outperform the Sinkhorn algorithm in practice. Our proof technique, which is based on a primal-dual formulation and a novel upper bound for the dual solution, also leads to a new class of algorithms that we refer to as \emph{adaptive primal-dual accelerated mirror descent} (APDAMD) algorithms. We prove that the complexity of these algorithms is $\widetilde{\mathcal{O}}(n^2\sqrtδ\varepsilon^{-1})$, where $δ> 0$ refers to the inverse of the strong convexity module of Bregman divergence with respect to $\|\cdot\|_\infty$. This implies that the APDAMD algorithm is faster than the Sinkhorn and Greenkhorn algorithms in terms of $\varepsilon$. Experimental results on synthetic and real datasets demonstrate the favorable performance of the Greenkhorn and APDAMD algorithms in practice.

研究の動機と目的

• 正則化最適輸送のためのシンクホルンアルゴリズムの貪欲版であるグリーンカーンアルゴリズムの理論的複雑度を、より厳密に分析すること。
• 収束速度が向上した新しいクラスのアルゴリズム――適応的プライマルデュアル加速ミラー降下（APDAMD）――を考案すること。
• 特にAPDAGDに対して、従来の複雑度境界に一貫性のない問題を解消すること。
• 理論的分析と実験的検証を通じて、グリーンカーンとAPDAMDがなぜシンクホルンやAPDAGDを上回る実験的性能を示すのかを説明すること。

提案手法

• 分析にはプライマルデュアル定式化を採用し、グリーンカーンの収束を分析するために、$\|\cdot\|_\infty$ ノルムを用いたデュアル最適解の新しい上界を導入した。
• APDAMDアルゴリズムは、強い凸性パラメータ $\delta^{-1}$ を持つBregman発散を用いて、正則化最適輸送問題にミラー降下を適応することで導出された。ここで $\delta$ は強い凸性モジュラスの逆数である。
• APDAMDアルゴリズムの安定性を高めるために、$\|\cdot\|_\infty$ ノルムに基づくラインサーチ戦略が用いられた。
• 凸最適化の技術を用いて理論的複雑度境界を導出し、特にデュアル問題の構造とBregman発散の性質を活用した。
• APDAGDアルゴリズムの以前に発表された複雑度境界に誤りがあることを特定し、一般には成り立たないことを示し、修正された境界 $ olimits\widetilde{\mathcal{O}}(n^{5/2}\varepsilon^{-1})$ を導出した。
• 合成データおよびMNISTデータセットを用いた実験的検証を行い、グリーンカーン、APDAMD、APDAGD、GCPBアルゴリズムの間で反復回数、実行時間、頑健性を比較した。

実験結果

リサーチクエスチョン

• RQ1 グリーンカーンアルゴリズムの理論的複雑度は、従来の $ olimits\widetilde{\mathcal{O}}(n^2\varepsilon^{-3})$ の境界を超えて改善可能か？
• RQ2 正則化最適輸送のためのプライマルデュアル加速ミラー降下法で達成可能な最適な収束速度は何か？
• RQ3 グリーンカーンアルゴリズムが実際の実験でシンクホルンを上回る理由は何か？理論的に説明可能か？
• RQ4 APDAGDアルゴリズムの以前に発表された複雑度境界は正当か？そうでない場合、正しい境界は何か？
• RQ5 Bregman発散の選択と強い凸性パラメータ $\delta$ の選択が、APDAMDアルゴリズムの収束速度にどのように影響するか？

主な発見

• グリーンカーンアルゴリズムは複雑度境界 $ olimits\widetilde{\mathcal{O}}(n^2\varepsilon^{-2})$ を達成し、シンクホルンの最高水準の境界と一致させ、その実験的性能に対する理論的理解のギャップを解消した。
• APDAMDアルゴリズムは複雑度境界 $ olimits\widetilde{\mathcal{O}}(n^2\sqrt{\delta}\varepsilon^{-1})$ を達成した。$ olimits\delta$ が小さい場合には、シンクホルンやグリーンカーンよりも $ olimits\varepsilon$ に関してより高速な収束を示した。
• 以前に発表されたAPDAGDアルゴリズムの複雑度境界に欠陥があることを特定し、修正された境界 $ olimits\widetilde{\mathcal{O}}(n^{5/2}\varepsilon^{-1})$ を確立した。
• 合成データおよびMNISTデータセットにおける実験的結果は、APDAMDアルゴリズムがAPDAGDやGCPBよりも高速かつ頑健であることを確認した。特に収束安定性において顕著な優位性を示した。
• APDAMDアルゴリズムにおいて $\delta = n$ かつ二次的Bregman発散を用いることで、APDAGDと同等の複雑度を達成したが、$\|\cdot\|_\infty$ ベースのラインサーチのおかげで、より高い頑健性を示した。
• 理論的分析により、グリーンカーンの改善された複雑度は、新たなデュアル解の上限のおかげであり、貪欲な1行／1列更新戦略にもかかわらず、各反復での進行量をより厳密に評価可能にしていることが確認された。