[論文レビュー] ADMM Penalty Parameter Selection by Residual Balancing

Brendt Wohlberg|arXiv (Cornell University)|Apr 20, 2017

Sparse and Compressive Sensing Techniques参考文献 18被引用数 52

ひとこと要約

この論文は ADMM の適応ペナルティパラメータスキームを分析し、人気の残差平衡ヒューリスティックの欠陥を示し、相対残差とスケーリングの考慮を用いた緩和策を提案する。

ABSTRACT

Appropriate selection of the penalty parameter is crucial to obtaining good performance from the Alternating Direction Method of Multipliers (ADMM). While analytic results for optimal selection of this parameter are very limited, there is a heuristic method that appears to be relatively successful in a number of different problems. The contribution of this paper is to demonstrate that their is a potentially serious flaw in this heuristic approach, and to propose a modification that at least partially addresses it.

研究の動機と目的

• ADMM の既存の適応ペナルティパラメータルールの有効性を評価する。
• ペナル更新に影響を与えるスケーリングに関連する問題を特定する。
• 問題スケール全体でペナルティ適応の頑健性を向上させる修正を提案する。
• Basis Pursuit DeNoising (BPDN) および CBPDN の例を用いて概念を説明する。

提案手法

• ADMM の定式化と残差ベースの収束指標をレビューする。
• 問題変換下の ADMM のスケーリング特性を分析する。
• He らの残差平衡更新規則とその限界を検討する。
• 相対残差 (r_rel and s_rel) を用いたスケール不変な更新を提案する。
• 適応乗数ポリシーと潜在的な改善（tau の調整、xi による局所スケーリング）を論じる。
• 概念を BPDN および CBPDN に適用して挙動を説明する。

実験結果

リサーチクエスチョン

• RQ1 ADMM ペナルティパラメータの標準的な残差平衡適応規則は、スケールされた問題インスタンス全体で収束を確実に導くだろうか？
• RQ2 問題のスケーリングと残差の定義は、適応的なペナルティ更新の有効性と不変性にどう影響するか？
• RQ3 収束保証を損なうことなく、残差平衡をスケール不変に再定式化できるか？
• RQ4 実用的な修正（例えば相対残差、適応的な tau、スケーリングされた更新など）は、疎表現問題での頑健性をどう改善するか？

主な発見

• 本論文は、ADMM ペナルティパラメータ更新に対する一般的な残差平衡ヒューリスティックに潜在的に深刻な欠陥があることを示している。
• 標準更新で用いられる残差は、問題のスケーリングの下で一貫してスケールしないことを示しており、問題の定式化がスケールされると性能が低下する可能性がある。
• 提案された修正は、残差平衡のスケーリング不変性を実現するために相対残差を用い、指摘された欠陥に対処する。
• 収束フレームワークは、停止基準を調整しつつ相対残差を用いることを支持し、収束保証を維持する。
• 議論には、適応的乗数ポリシーと実用的な考慮事項（更新頻度、tau など）を含み、計算コストと収束速度のバランスを取る。
• 実例として Basis Pursuit DeNoising および Convolutional BPDN を含み、反復回数と残差の推移への影響を強調する。