[論文レビュー] Adaptive ADMM with Spectral Penalty Parameter Selection

Zheng Xu, Mário A. T. Figueiredo+1 more|arXiv (Cornell University)|May 24, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用数 42

ひとこと要約

本稿では、Barzilai-Borwein法にインspiredされたスペクトルステップサイズ選択ルールを用いて、ADMMのペナルティパラメータを動的に調整する自動化手法であるAdaptive ADMM (AADMM) を提案する。ADMMを双対問題におけるDouglas-Rachford分割に再定式化することにより、高速な収束性と初期パラメータ選択および問題スケーリングに対して高いロバスト性を達成し、汎用ADMM、Fast ADMM、残差バランス化と比較して、多様な最適化問題において優れた性能を示す。

ABSTRACT

The alternating direction method of multipliers (ADMM) is a versatile tool for solving a wide range of constrained optimization problems, with differentiable or non-differentiable objective functions. Unfortunately, its performance is highly sensitive to a penalty parameter, which makes ADMM often unreliable and hard to automate for a non-expert user. We tackle this weakness of ADMM by proposing a method to adaptively tune the penalty parameters to achieve fast convergence. The resulting adaptive ADMM (AADMM) algorithm, inspired by the successful Barzilai-Borwein spectral method for gradient descent, yields fast convergence and relative insensitivity to the initial stepsize and problem scaling.

研究の動機と目的

• ADMMにおける手動によるペナルティパラメータチューニングという重要な課題に対処すること。これは、非専門家ユーザーによる利用を妨げる要因である。
• ADMMが初期ペナルティ値や問題スケーリングに敏感であるという点を克服すること。これは収束性能を著しく劣化させる要因となる。
• 収束速度と信頼性を向上させる、自動的かつ適応的なペナルティパラメータ選択メカニズムを開発すること。
• 相関に基づくセーフティガード基準を用いて、初期値の悪さや任意の問題スケーリングに対してもロバスト性を確保すること。
• 滑らかな最適化に用いられるスペクトルステップサイズ法を、元来勾配降下法を想定した手法として開発したが、双対問題解析を用いてADMMの制約付き・マルチ項設定に拡張すること。

提案手法

• ADMMを双対問題におけるDouglas-Rachford分割として再定式化し、スペクトルステップサイズ規則の適用を可能にする。
• 双対変数の差分を用いて曲率を推定することで、Barzilai-Borwein法に基づくスペクトル的ペナルティパラメータ更新ルールを導出する。
• 連続する双対ステップ間の相関をチェックすることで、信頼性の低い更新を回避するセーフティガードメカニズムを導入する。
• 相関閾値 $\epsilon^{\text{cor}}$ を用いて、新しいペナルティ値の受容または拒否を判断し、安定性と収束性を保証する。
• 双対問題におけるスペクトルステップサイズルールを、プライマルADMM反復に再翻訳するペナルティパラメータ更新ルールに変換する。
• 基礎 pursuit、Lasso、半正定値計画法を含む多様な問題に本手法を適用し、広範な適用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 滑らかな最適化に用いられるスペクトルステップサイズ選択ルールを、ADMMの制約付き・マルチ変数設定に適応可能か？
• RQ2 ADMMのペナルティパラメータを自動的にチューニングすることで、手動による介入なしに高速収束を達成できるか？
• RQ3 提案手法の適応的アプローチは、初期ペナルティパラメータの選択や問題スケーリングに対してロバスト性を維持できるか？
• RQ4 相関に基づくセーフティガード基準は、適応的ADMMにおける不安定または発散的ペナルティ更新を防止できるか？
• RQ5 既存のADMM変種（汎用ADMM、Fast ADMM、残差バランス化）と比較して、AADMMの収束速度と信頼性はどの程度優れているか？

主な発見

• AADMMは、23件のテストデータのうち23件すべてで汎用ADMMおよびFast ADMMを上回り、そのうち13件で汎用ADMMが収束失敗を示した。
• 残差バランス化と比較して、AADMMはテストケースの23件中22件で収束が速く、唯一の例外はコンSENSUSロジスティック回帰におけるRcv1問題であった。
• AADMMは初期ペナルティパラメータ $\tau_0$ に対して極めて感受性が低く、$\tau_0$ の広い範囲で安定した性能を示した。
• AADMMは問題スケーリングに対してもロバストであり、測定ベクトルのスケーリング係数 $s$ の変更に対してほとんど感受性を示さなかった。
• セーフティガード閾値 $\epsilon^{\text{cor}}$ は性能にほとんど影響を与えず、$[0.1, 0.4]$ の範囲で安定した収束を示した。
• 合成的基礎 pursuit 問題において、AADMMはペナルティパラメータを素早く適応し、最小限の残差オシレートで最も速い収束を達成した。