[論文レビュー] An Empirical Study of ADMM for Nonconvex Problems

Zheng Xu, Soham De+3 more|arXiv (Cornell University)|Dec 10, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用数 24

ひとこと要約

本稿は、ℓ₀正則化回帰、画像ノイズ除去、位相回復、固有ベクトル計算を含む非凸最適化問題におけるADMMの実験的性能を評価する。理論的制限があるにもかかわらず、ADMMは実際にはしばしば収束することを示し、固定ペナルティと比較して適応的ペナルティ戦略が収束速度と解の品質を著しく向上させることを示している。

ABSTRACT

The alternating direction method of multipliers (ADMM) is a common optimization tool for solving constrained and non-differentiable problems. We provide an empirical study of the practical performance of ADMM on several nonconvex applications, including l0 regularized linear regression, l0 regularized image denoising, phase retrieval, and eigenvector computation. Our experiments suggest that ADMM performs well on a broad class of non-convex problems. Moreover, recently proposed adaptive ADMM methods, which automatically tune penalty parameters as the method runs, can improve algorithm efficiency and solution quality compared to ADMM with a non-tuned penalty.

研究の動機と目的

• 理論的収束保証が与えられていない非凸最適化問題におけるADMMの実用的収束性と性能を調査すること。
• 非凸設定におけるペナルティパラメータのチューニングが収束速度と解の品質に与える影響を評価すること。
• 多様な非凸応用において、vanilla ADMMと残差バランシングやスペクトル適応ADMMなどの適応的ADMM変種を比較すること。
• 非凸問題におけるADMMのサブプロブレムの更新順序が収束性や解の品質に影響を与えるかどうかを特定すること。

提案手法

• ADMMは、目的関数を滑らか項と滑らかでない項に分割し、線形等式制約下で変数uとvについて交互に最小化することで非凸問題に適用される。
• アルゴリズムは、主変数uとv、および双対変数λの増加ラグランジュ更新を用い、制約違反を制御するペナルティパラメータτkを用いる。
• 残差バランシングとスペクトル（Barzilai-Borwein）則を含む適応的ペナルティ戦略により、反復中にτkを動的に調整し、プライマルおよびデュアル残差をバランスさせる。
• ℓ₀正則化の場合は、ソフト/ハードスレッショーディングによる閉形式スレッショーディングと高速フーリエ変換を活用して計算を効率化する。
• 収束はプライマル残差rk = b - Auₖ - Bvₖとデュアル残差dk = τk AᵀB(vₖ - vₖ₋₁)を用いて監視され、相対許容誤差に基づく停止基準が用いられる。
• 実験は、合成データおよび実データを用いて、ℓ₀正則化回帰、画像ノイズ除去、位相回復、固有ベクトル計算の4つの非凸問題で実施された。

実験結果

リサーチクエスチョン

• RQ1 理論的保証が欠如しているにもかかわらず、ℓ₀正則化回帰や位相回復のような非凸問題においてADMMは実際には収束するのか？
• RQ2 滑らか項と滑らかでない項のサブプロブレムの更新順序が収束性や解の品質に影響を与えるのか？
• RQ3 ペナルティパラメータτkの選択が収束速度と最終解の品質に与える影響は何か？
• RQ4 残差バランシングやスペクトルADMMなどの適応的ペナルティ戦略は、固定ペナルティを用いたvanilla ADMMを上回るのか？
• RQ5 高速収束を保証するペナルティパラメータと、最良の解品質をもたらすペナルティパラメータの間に一貫した関係があるのか？

主な発見

• 理論的収束保証が標準仮定下で与えられていないにもかかわらず、ADMMは非凸問題において実際には頻繁に収束する。
• vanilla ADMMはペナルティパラメータのチューニングに極めて敏感であり、不適切な選択は収束の遅延や振動を引き起こす。
• AADMMや残差バランシングなどの適応的ペナルティ手法は、全テスト問題において収束の信頼性と速度を向上させる。
• ほとんどの問題において、適応的ADMMは固定ペナルティを用いたvanilla ADMMよりも優れた目的関数値または高いPSNRを達成する。
• 特にℓ₀回帰におけるLeukemiaデータセットのような困難な問題では、微調整された定数ペナルティが適応的手法を上回ることもある。
• 高速収束を保証するペナルティ値と最良の解品質をもたらすペナルティ値との間に予測可能な関係は存在しない。