[論文レビュー] On accelerated alternating minimization

Sergey Guminov, Pavel Dvurechensky+1 more|arXiv (Cornell University)|Jan 1, 2020

Matrix Theory and Algorithms参考文献 10被引用数 15

ひとこと要約

本稿では、エントロピー正則化付き最適輸送問題に対して、$1/k^2$ の収束速度を達成する高速化された交互最小化アルゴリズムを提案する。これは、標準的な交互最小化やSinkhornのアルゴリズムの$1/k$ の収束速度を著しく上回るものである。本手法は原双対的であり、局所的な滑らかさに適応可能で、ステップサイズの調整を必要とせず、勾配ベースの手法やSinkhorn法よりも実用的に優れている。

ABSTRACT

Alternating minimization (AM) optimization algorithms have been known for a long time and are of importance in machine learning problems, among which we are mostly motivated by approximating optimal transport distances. AM algorithms assume that the decision variable is divided into several blocks and minimization in each block can be done explicitly or cheaply with high accuracy. The ubiquitous Sinkhorn's algorithm can be seen as an alternating minimization algorithm for the dual to the entropy-regularized optimal transport problem. We introduce an accelerated alternating minimization method with a $1/k^2$ convergence rate, where $k$ is the iteration counter. This improves over known bound $1/k$ for general AM methods and for the Sinkhorn's algorithm. Moreover, our algorithm converges faster than gradient-type methods in practice as it is free of the choice of the step-size and is adaptive to the local smoothness of the problem. We show that the proposed method is primal-dual, meaning that if we apply it to a dual problem, we can reconstruct the solution of the primal problem with the same convergence rate. We apply our method to the entropy regularized optimal transport problem and show experimentally, that it outperforms Sinkhorn's algorithm.

研究の動機と目的

• 標準的な交互最小化やSinkhornのアルゴリズムが最適輸送問題において収束が遅いという問題に対処すること。
• 標準の$1/k$ の収束速度よりも速い$1/k^2$ の収束速度を達成する交互最小化の高速化されたバージョンを開発すること。
• 局所的な問題の滑らかさに適応可能で、ステップサイズの選択を必要としない手法を設計すること。
• アルゴリズムが原双対構造を維持することを保証し、同じ収束速度で原問題の解を回復できること。

提案手法

• 提案手法は、Nesterov風の加速を交互最小化に適用し、反復回数$k$ に依存する運動量項を組み込む。
• 変数の各ブロックに関して、双対目的関数を交互に最小化し、可能であれば閉形式の更新を用いる。
• 加速メカニズムにより、双対目的関数に対してグローバルに$1/k^2$ の収束速度が保証され、標準の$1/k$ の収束速度を上回る。
• アルゴリズムは原双対的である：双対問題を解くことで、同じ$1/k^2$ の収束速度で原問題の解が得られる。
• 局所的な滑らかさに適応可能であり、勾配型手法に共通する手動によるステップサイズ選択の必要性がなくなる。
• 本手法は、双対の構造を活かして効率的な更新が可能なエントロピー正則化付き最適輸送問題に適用される。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化付き最適輸送問題において、交互最小化を$1/k^2$ の収束速度に高速化できるか？
• RQ2 提案された加速手法は、実用的にSinkhornのアルゴリズムや勾配ベースの手法を上回るか？
• RQ3 より速い収束を達成しつつ、アルゴリズムが原双対構造を維持できるか？
• RQ4 局所的な問題の滑らかさに適応可能で、ステップサイズの調整を不要にすることができるか？
• RQ5 大規模な最適輸送問題に対して、高速化された交互最小化が効率的に実装可能か？

主な発見

• 提案された高速化された交互最小化は、双対目的関数に対して$1/k^2$ の収束速度を達成し、一般の交互最小化やSinkhornのアルゴリズムの標準的な$1/k$ の収束速度を上回る。
• 実用的に、Sinkhornのアルゴリズムを上回り、ベンチマークとしての最適輸送問題においてより速い収束を示している。
• 局所的な滑らかさに適応可能で、ステップサイズの選択が不要になり、より高いロバスト性が得られる。
• 原双対構造のおかげで、原問題の解が双対と同じ$1/k^2$ の収束速度で回復できる。
• 実験結果により、適応性とステップサイズ依存性の欠如のおかげで、勾配型手法よりも収束が速いことが確認された。