[論文レビュー] Convergence rate bounds for a proximal ADMM with over-relaxation stepsize parameter for solving nonconvex linearly constrained problems

Max L. N. Gonçalves, Jefferson G. Melo+1 more|arXiv (Cornell University)|Feb 7, 2017

Sparse and Compressive Sensing Techniques参考文献 26被引用数 34

ひとこと要約

この論文は、非凸な線形制約付き問題に、過剰緩和パラメータ θ ∈ (0,2) を有するプロキシマル ADMM 変種を適用した場合の、点ごとの反復複雑性バウンドを O(ρ⁻²) として確立する。標準的な (0, (1+√5)/2) 範囲を超えて収束速度解析を拡張し、f（非凸、下半連続）および g（リプシッツ連続勾配を有する微分可能）に対する緩い仮定の下で、グローバル収束性と複雑性を証明する。

ABSTRACT

This paper establishes convergence rate bounds for a variant of the proximal alternating direction method of multipliers (ADMM) for solving nonconvex linearly constrained optimization problems. The variant of the proximal ADMM allows the inclusion of an over-relaxation stepsize parameter belonging to the interval $(0,2)$. To the best of our knowledge, all related papers in the literature only consider the case where the over-relaxation parameter lies in the interval $(0,(1+\sqrt{5})/2)$.

研究の動機と目的

• 非凸設定下で過剰緩和パラメータ θ > (1+√5)/2 を有するプロキシマル ADMM の収束速度バウンドが得られないという問題を解決する。
• f が適切で、下半連続であり、g がリプシッツ連続勾配を有する微分可能である非凸問題への反復複雑性解析を拡張する。
• ペナルティパラメータ β やプロキシマル項 G, H に対する緩い仮定の下で、点ごとの反復複雑性バウンドを提供する。
• 過剰緩和 ADMM を用いて、より広い非凸線形制約付き最適化問題のクラスに対するグローバル収束性と複雑性を確立する。
• 非凸問題において、文献で未解決であった θ ∈ (0,2) の範囲で O(ρ⁻²) の複雑性を証明することで、理論的ギャップを埋める。

提案手法

• 過剰緩和パラメータ θ ∈ (0,2) を有するプロキシマル ADMM 変種を提案し、部分問題の安定化にためのプロキシマル項 G と H を組み込む。
• 非凸 f に対しては拡張された部分微分の概念を用い、凸性を仮定せずに最適性条件を定式化可能にする。
• プライマルおよびデュアル反復を含むリャプノフ型関数を定義し、進行状況を追跡し収束を確立する。
• リャプノフ関数に対してテレスコピング和の議論を適用し、デュアル変数の差のノルムのバウンドを導出する。
• 行列ノルムの不等式およびスペクトルバウンド（例：B*B の σ₊(B)）を用いて、反復間での誤差伝播を制御する。
• 平均化の議論を用いて点ごとの複雑性を導出し、最初の k 反復内に ρ-最適性を満たす良好な反復が存在することを示す。

実験結果

リサーチクエスチョン

• RQ1 非凸問題において、過剰緩和パラメータ θ > (1+√5)/2 を有するプロキシマル ADMM の収束速度バウンドを確立できるか？
• RQ2 f, g, β, G, H, θ にどのような条件が、グローバル収束性と O(ρ⁻²) の点ごとの反復複雑性を保証するか？
• RQ3 非凸設定下で、θ ∈ (0,2) を含む過剰緩和の導入が、標準 ADMM と比較して収束性と複雑性にどのように影響を与えるか？
• RQ4 一般化された部分微分を用いることで、凸性を要件としない非凸 f に対しても解析を拡張できるか？
• RQ5 ペナルティパラメータ β およびプロキシマル項 G, H は、収束性と複雑性バウンドの確保において、どのように機能するか？

主な発見

• この論文は、非凸設定下においても、過剰緩和パラメータ θ ∈ (0,2) を有するプロキシマル ADMM 変種に対して、O(ρ⁻²) の点ごとの反復複雑性バウンドを確立する。
• 収束解析は、f が適切で、下半連続であり、g がリプシッツ連続勾配を有する微分可能であるという仮定の下で成立する。
• β が十分に大きく、G が任意の半正定値行列であり、H が単位行列の大きな正の倍数であるようなプロキシマル ADMM の部分クラスにおいて、バウンドが達成される。
• 解析により、プライマル不実行性、デュアル不実行性、および部分勾配違反の残差ノルムがすべて ρ 未満である点へのグローバル収束が証明される。
• 先行研究の複雑性バウンドはすべて、θ ∈ (0, (1+√5)/2) の範囲に限られていたが、本研究ではその範囲を超えて拡張された。
• 証明は、累積誤差をバウンドするための新規のリャプノフ関数とテレスコピング和の議論に依拠し、O(ρ⁻²) の複雑性に至る。