[論文レビュー] Trajectory of Alternating Direction Method of Multipliers and Adaptive Acceleration

Clarice Poon, Jingwei Liang|arXiv (Cornell University)|Jun 24, 2019

Advanced Signal Processing Techniques被引用数 14

ひとこと要約

本稿はADMM反復の軌道を分析し、目的関数の滑らかさとペナルティパラメータγに応じて収束経路がらせんまたは直線的になることを特定した。滑らかさとγに応じた軌道分析に基づき、動的 Momentum 調整を行う適応的加速スキームを提案し、標準的なインertial ADMMを上回る性能を示し、画像処理、統計、機械学習の問題において優れた収束性能を発揮した。

ABSTRACT

The alternating direction method of multipliers (ADMM) is one of the most widely used first-order optimisation methods in the literature owing to its simplicity, flexibility and efficiency. Over the years, numerous efforts are made to improve the performance of the method, such as the inertial technique. By studying the geometric properties of ADMM, we discuss the limitations of current inertial accelerated ADMM and then present and analyze an adaptive acceleration scheme for the method. Numerical experiments on problems arising from image processing, statistics and machine learning demonstrate the advantages of the proposed acceleration approach.

研究の動機と目的

• ADMM反復の幾何的軌道、特にDouglas-Rachford分割フレームワークにおけるz-シーケンスの挙動を理解すること。
• 非滑らかまたは滑らかな目的関数に適用された際の、既存のインエラシャル加速技術のADMMへの限界を特定すること。
• 観察されたADMM反復の軌道に基づき、動的 Momentum を調整する適応的加速スキームを開発すること。
• 画像処理、統計、機械学習などの実用的応用分野におけるADMMの収束速度とロバスト性を向上させること。

提案手法

• Douglas-Rachford分割の等価性を用いてADMMにおけるz-シーケンスの固定点反復を分析し、関数の滑らかさとγに応じてらせんまたは直線的軌道が生じることを明らかにした。
• 反復行列の固有値解析を用いてz-シーケンスの漸近的挙動を特徴づけ、スペクトル特性に従い、収束がらせんまたは直線に分類されることを示した。
• 観察された軌道タイプ（らせん対比直線）に基づき、修正されたMPE（Mullerの多項式外挿法）を用いて補外ステップの動的調整を行う適応的モーメンタムスキームを提案した。
• チェビシェフ多項式最小化と行列ノルム解析を用いて非漸近的収束境界を導出し、ロバスト性と加速性を保証した。
• 標準ADMM更新ステップに適応的スキームを統合し、収束保証を維持しながら実用的性能を向上させた。
• 過去の反復からの局所的曲率推定に基づき、モーメンタムタイプ間の動的スイッチング機構を採用し、過剰または不十分なステップを回避した。

実験結果

リサーチクエスチョン

• RQ1 ADMM反復はどのような幾何的軌道をたどり、目的関数の滑らかさとペナルティパラメータγにどのように依存するか？
• RQ2 既存のADMM用インエラシャル加速技術が、異なる問題クラスにおいて一貫して収束を改善できないのはなぜか？
• RQ3 実行時において、軌道タイプ（らせん対比直線）を検出可能か？ その検出が適応的モーメンタム選択を支援できるか？
• RQ4 観察された軌道挙動に基づき、動的 Momentum を調整する適応的加速スキームをどのように設計できるか？
• RQ5 提案された適応的ADMM変種に対して、どのような理論的収束境界を確立できるか？

主な発見

• R と J が非滑らかで部分的に滑らかである場合、ADMM の z-シーケンスはらせん軌道に収束する。局所的に多面体的である場合には、明確な特徴づけが可能である。
• R または J の少なくとも一方が滑らかである場合、γ の選択に応じて z-シーケンスの軌道は直線またはらせんのいずれかに分類される。
• 画像ノイズ除去、Lasso回帰、行列補完問題における数値実験で、提案された適応的加速スキームは標準的なインエラシャルADMMを上回った。
• 観察された軌道タイプに基づき動的 Momentum パrameter を選択することで、固定モーメンタムスキームに見られる非最適な選択を回避し、より速い収束を達成した。
• 理論的分析により、適応的スキームがチェビシェフ多項式最小化を反復行列の固有値スペクトル上で行う非漸近的境界を保ちながら収束することが確認された。
• 実験的結果では、ベースラインADMMおよび既存のインエラシャル変種と比較して、反復回数の大幅な削減と残差誤差の低減が確認された。