[論文レビュー] The primal-dual hybrid gradient method reduces to a primal method for linearly constrained optimization problems

Yura Malitsky|arXiv (Cornell University)|Jun 8, 2017

Sparse and Compressive Sensing Techniques参考文献 26被引用数 5

ひとこと要約

本稿では、線形制約付き凸最適化問題に対する原双対勾配（PDHG）法が、双対変数を排除した完全に原的なアルゴリズムに再定式化可能であることを示している。主な貢献は、標準的解析が失敗する退化した場合——例えば不可解問題や強双対性の不成立——に対しても、原反復の収束速度が $O(1/k^2)$ であることを確立する新しい収束解析であり、同時に1回の反復あたり1回の通信で済むため、より効率的な分散型分散最適化を可能にしている。

ABSTRACT

In this work, we show that for linearly constrained optimization problems the primal-dual hybrid gradient algorithm, analyzed by Chambolle and Pock [3], can be written as an entirely primal algorithm. This allows us to prove convergence of the iterates even in the degenerate cases when the linear system is inconsistent or when the strong duality does not hold. We also obtain new convergence rates which seem to improve existing ones in the literature. For a decentralized distributed optimization we show that the new scheme is much more efficient than the original one.

研究の動機と目的

• 標準的解析が失敗する退化した場合（不可解問題や鞍点の不在）におけるPDHG法の収束挙動を解明すること。
• 双対変数 $y^k$ を排除することでPDHGアルゴリズムを完全に原的な手法に再定式化し、実装を簡素化し、メモリ使用量を削減すること。
• これまでの知見よりも広い条件下で、特に原反復の収束速度を $O(1/k^2)$ に向上させること。
• 元のPDHGと比較して1回の反復あたり1回の通信で済むようにすることで、より効率的な分散型分散最適化を可能にすること。
• アルゴリズム構造を簡素化することで、今後の拡張（例：座標ごとの変種）の基盤を提供すること。

提案手法

• 双対変数 $y^k$ を排除することで、式 (3) のPDHGアルゴリズムを完全に原的な手法に再定式化し、反復 $x^k$ のみに依存するスキームを導出する。
• 鞍点の存在を仮定しない収束解析フレームワークを考案し、リャプノフ関数とエネルギー減少の議論を用いて収束速度を導出する。
• 収束とレート推定を保証するための再帰的関係を満たすパラメータ列 $\sigma_k$, $\tau_k$, および $\Sigma_k$ を導入する。
• コサイン法則とprox不等式を用いて、最適解への距離と目的関数ギャップを抑える再帰的不等式を導出する。
• 問題が不可解であっても強双対性が成立しなくても、原反復 $x^k$ が解に収束することを示し、収束を確立する。
• 強凸性のもとで、目的関数ギャップ $f(x^k) - f_*$ が $O(1/k^2)$ の収束速度を達成することを示し、強双対性が成立する場合には $O(1/k^4)$ の収束速度を達成する。

実験結果

リサーチクエスチョン

• RQ1 線形制約付き最適化問題が不可解である場合、PDHG反復はどのように振る舞うか？
• RQ2 関連する鞍点問題に鞍点が存在しない場合、PDHG反復はどのように振る舞うか？
• RQ3 PDHGアルゴリズムは、双対変数に依存しない完全に原的な手法に再定式化可能か？
• RQ4 標準的解析が失敗する退化した場合において、PDHGの収束速度を向上させることは可能か？
• RQ5 新しい原的な単一手法は、元のPDHGと比較して分散型分散最適化においてどのように性能を発揮するか？

主な発見

• 線形制約付き問題におけるPDHG法は、完全に原的なアルゴリズムに再定式化可能であり、双対変数の必要性がなくなり、実装が簡素化される。
• 新しい原的スキームは、問題が不可解であっても強双対性が成立しなくても解に収束するため、PDHGの適用範囲が標準的仮定を超えて拡張される。
• 強凸性のもとで、原反復は $O(1/k^2)$ の収束速度を示し、従来の $O(1/k)$ の平均的収束速度を上回る。
• 強双対性が成立する場合、目的関数ギャップ $f(x^k) - f_*$ は $O(1/k^4)$ の収束速度を達成し、既存の結果よりも著しく速い。
• 強双対性が成立しない場合でも、原反復は $O(1/k^2)$ の収束速度を示し、$|g(x^k) - g_*| = O(1/k^2)$ が成り立つ。
• 分散型分散最適化において、新しいスキームは1回の反復あたり1回の通信で済み、元のPDHGと比較してより効率的である。