[論文レビュー] An Accelerated Linearized Alternating Direction Method of Multipliers

Yuyuan Ouyang, Yunmei Chen+2 more|arXiv (Cornell University)|Jan 26, 2014

Sparse and Compressive Sensing Techniques被引用数 12

ひとこと要約

本稿では、線形化ADMMに多ステップモーメンタムを統合することで、線形制約付きの凸合成最適化問題の収束速度を向上させる、加速された線形化ADMMフレームワークAADMMを提案する。この手法は、標準の線形化ADMMと比較して、滑らか成分のリプシッツ定数により良い依存性を示し、鞍点が存在する場合、有界および無限大の実行可能集合の両方を扱える。実験結果により、BOSVSなどの既存手法よりも優れた性能を示している。

ABSTRACT

We present a novel framework, namely AADMM, for acceleration of linearized alternating direction method of multipliers (ADMM). The basic idea of AADMM is to incorporate a multi-step acceleration scheme into linearized ADMM. We demonstrate that for solving a class of convex composite optimization with linear constraints, the rate of convergence of AADMM is better than that of linearized ADMM, in terms of their dependence on the Lipschitz constant of the smooth component. Moreover, AADMM is capable to deal with the situation when the feasible region is unbounded, as long as the corresponding saddle point problem has a solution. A backtracking algorithm is also proposed for practical performance.

研究の動機と目的

• 線形制約付きの凸合成最適化問題を解くためのより高速な一次元法の開発。
• 多段階加速技術を組み込むことで、線形化ADMMの収束速度の改善。
• 鞍点が存在する場合に、線形化ADMMの適用範囲を無限大の実行可能集合へ拡張。
• アルゴリズムの性能を向上させるための実用的なバックトラッキングラインサーチ戦略の設計。
• 画像再構成問題における数値実験を通じて、理論的改善の妥当性の検証。

提案手法

• 収束速度の向上を目的として、線形化ADMMと多段階加速スキームを組み合わせた新しいフレームワークAADMMを提案。
• Nesterov型加速にインspiredされた、過去の反復点を活用するモーメンタムに基づく更新戦略を採用。
• リプシッツ定数の事前知識が不要な状態で、ステップサイズを適応的に選択するバックトラッキングラインサーチアルゴリズムを導入し、実用的性能の向上を図る。
• アフィン等式制約付き合成最適化（AECCO）問題を鞍点問題に再定式化して適用。
• 非滑らか項に対してはプロキシマルに似た更新を行い、滑らか項に対しては勾配に基づく更新を実施することで、計算効率を確保。
• 理論的分析により、滑らか成分のリプシッツ定数に有利に依存する収束速度を確立し、標準の線形化ADMMを上回ることを示した。

実験結果

リサーチクエスチョン

• RQ1 多段階加速を線形化ADMMに効果的に統合することで、収束速度の向上が達成可能か？
• RQ2 鞍点が存在する場合、AADMMフレームワークは有界でない実行可能集合に対しても収束を保証するか？
• RQ3 実際の画像再構成タスクにおいて、AADMMの性能はBOSVS や標準の線形化ADMMと比較してどのように異なるか？
• RQ4 バックトラッキングラインサーチ戦略は、実世界の応用におけるAADMMの頑健性と効率性を向上させるか？
• RQ5 AADMMの収束速度は、滑らか成分のリプシッツ定数にどのように依存するか？

主な発見

• AADMMは、線形化ADMMよりも優れた収束速度を達成し、滑らか成分のリプシッツ定数により良い依存性を示す。
• 鞍点が存在する限り、有界および無限大の実行可能集合の両方で有効である。
• 画像再構成実験では、バックトラッキングを用いたAADMMが、BOSVSよりもプライマル目的関数値と真値との相対誤差の両方を低減する。
• 特に、低周波成分の収集が制限されるためより困難なカルテシアンk空間サンプリング条件下で、性能向上が顕著に現れる。
• 数値結果により、AADMMはBOSVSよりも収束が早く、目的関数値と再構成誤差が低いことが確認された。特に、困難なサンプリング条件下で顕著な優位性を示した。
• バックトラッキングラインサーチは実用的性能を顕著に向上させ、異なる問題例やパrameter設定に対してもAADMMの頑健性を高めた。