[論文レビュー] Alternating direction method of multipliers with variable step sizes

Sören Bartels, Marijo Milicevic|arXiv (Cornell University)|Apr 20, 2017

Antenna Design and Optimization参考文献 35被引用数 4

ひとこと要約

本稿では、収束のための残差の単調性に基づいて段階的に変化するステップサイズを自適的に調整する可変ステップサイズADMM（Variable-ADMM）を提案する。数値実験では、固定ステップサイズや最適化ステップサイズの変種よりも収束が速く、反復回数も少ない。特に偏微分方程式制約問題や画像処理問題において顕著な性能向上を示す。

ABSTRACT

The alternating direction method of multipliers (ADMM) is a flexible method to solve a large class of convex minimization problems. Particular features are its unconditional convergence with respect to the involved step size and its direct applicability. This article deals with the ADMM with variable step sizes and devises an adjustment rule for the step size relying on the monotonicity of the residual and discusses proper stopping criteria. The numerical experiments show significant improvements over established variants of the ADMM.

研究の動機と目的

• 凸最小化問題におけるADMMの収束がステップサイズの選択に敏感であることを解消する。
• 問題定数の事前知識を必要とせず、収束を改善する自適的ステップサイズルールを開発する。
• 反復処理中に残差の単調性をモニタリングすることで、収束性とロバスト性を保証する。
• 残差制御に基づく有効な停止基準を提供し、解の精度を保証する。
• 数値ベンチマークにおいて、固定ステップサイズおよび最適化ステップサイズのADMM変種よりも顕著な性能向上を実証する。

提案手法

• 反復処理において残差が単調に減少するかどうかに応じて、τを増加または減少させる自適的ステップサイズルールを導入する。
• 収束の進行を維持するため、ステップサイズ調整のモニタとして残差ノルム ‖Bu^j − p^j‖_Y を用いる。
• 停止基準として R_j ≤ ε_stop / C_0 を実装し、プライマルおよびデュアル残差の両方を制御する。
• 補助変数 p = Bu を用いて再定式化した形 inf_u F(Bu) + G(u) の凸最小化問題に本手法を適用する。
• ADMM更新に、拡張ラグランジュ関数 ℒ_τ(u,p;λ) = F(p) + G(u) + (λ, Bu − p)_Y + (τ/2)‖Bu − p‖_Y^2 を用いる。
• u と p における交互最小化の後、双対変数（λ）を更新し、各反復で変化する τ を用いる。

実験結果

リサーチクエスチョン

• RQ1 強い凸性やリプシッツ定数の知識を必要とせずに、ADMMの収束速度を向上させる自適的ステップサイズルールは可能か？
• RQ2 残差の単調性は、ADMMにおけるステップサイズの調整にどのように寄与し、収束を保証するか？
• RQ3 固定ステップサイズや最適化ステップサイズと比較して、可変ステップサイズは反復回数と解の精度にどのような影響を与えるか？
• RQ4 プライマルおよびデュアル残差を効果的に制御できる、ロバストな停止基準を導出可能か？
• RQ5 実用的なPDE制約問題および画像処理問題において、Variable-ADMMは既存のADMM変種を上回るか？

主な発見

• すべてのテスト問題において、固定ステップサイズおよび最適化ステップサイズのADMM変種と比較して、Variable-ADMMは顕著に少ない反復回数で収束する。
• τ = h^{-2} のp-Laplace問題において、Variable-ADMMは標準的および最適化ステップサイズのADMMの両方を下回る反復回数を要した。
• ステップサイズの再初期化が総反復回数にほとんど影響を与えないことから、初期値の選択に対してロバストであることが示された。
• 残差の挙動に基づいてτを動的に調整することで、収束性を維持するとともに性能を向上させる。
• 停止基準 R_j ≤ ε_stop / C_0 は、プライマルおよびデュアル残差の両方を効果的に制御し、解の精度を保証した。
• 数値実験により、実際の応用において可変ステップサイズが固定ステップサイズや最適化ステップサイズよりも収束が速いことが確認された。