[論文レビュー] Extending the ergodic convergence rate of the proximal ADMM

Max L. N. Gonçalves, Jefferson G. Melo+1 more|arXiv (Cornell University)|Nov 9, 2016

Optimization and Variational Analysis参考文献 28被引用数 5

ひとこと要約

この論文は、従来の文献で確立されていなかったステップサイズ $ heta = (1 + \sqrt{5})/2$ を含む、プロキシマル ADMM の漸近的反復複雑度解析を拡張する。著者らは、プロキシマル ADMM が非ユークリッド型ハイブリッドプロキシマルエクストラグラデント（NE-HPE）フレームワークの特殊な例であることを示し、$ heta \in (0, (1 + \sqrt{5})/2]$ の範囲で、点列的および漸近的収束速度の新たな境界を導出。特に、この重要なステップサイズ値に対してよりタイトな複雑度バウンドを提供する。

ABSTRACT

Pointwise and ergodic iteration-complexity results for the proximal alternating direction method of multipliers (ADMM) for any stepsize in(0,(1+\sqrt{5})/2) have been recently established in the literature. In addition to giving alternative proofs of these results, this paper also extends the ergodic iteration-complexity result to include the case in which the stepsize is equal to (1+\sqrt{5})/$. As far as we know, this is the first ergodic iteration-complexity for the stepsize (1+\sqrt{5})/2 obtained in the ADMM literature. These results are obtained by showing that the proximal ADMM is an instance of a non-Euclidean hybrid proximal extragradient framework whose pointwise and ergodic convergence rate are also studied.

研究の動機と目的

• 従来の文献で確立されていなかったステップサイズ $\theta = (1 + \sqrt{5})/2$ を含む、プロキシマル ADMM の漸近的反復複雑度結果を拡張すること。
• 非ユークリッド型ハイブリッドプロキシマルエクストラグラデント（NE-HPE）フレームワークを用いて、プロキシマル ADMM の代替収束速度解析を提供すること。
• プロキシマル ADMM の点列的および漸近的反復複雑度バウンドを、最適値 $\theta = (1 + \sqrt{5})/2$ を含むより広いステップサイズ範囲で確立すること。
• プロキシマル ADMM を、ブレグマン距離を用いた不正確プロキシマル点法の広いクラスに埋め込むことで、既存の収束結果を統一的かつ一般化すること。

提案手法

• ブレグマン距離と相対誤差基準を用いて、プロキシマル ADMM を非ユークリッド型ハイブリッドプロキシマルエクストラグラデント（NE-HPE）フレームワークの特殊な例として再定式化する。
• 相対誤差条件に基づく新たな終了基準を導入し、漸近的反復列に対するよりタイトな収束解析を可能にする。
• 双対ギャップをバウンドするために、$(1,1)$-正則距離生成関数および関連するブレグマン距離の性質を活用した収束解析。
• 誤差項の制御のため、コーシー・シュワルツの不等式および $2ab \leq a^2 + b^2$ の恒等式を用いて、重要な不等式を導出。
• 平均化反復 $z_k^a$ を用いて漸近的収束速度を確立。誤差バウンドは初期双対ギャップ $d_0$ と残差項 $\eta_0$ に依存する。
• プロキシマル ADMM が NE-HPE フレームワークの包含条件および誤差許容ルールを満たすことを示し、解析を検証。

実験結果

リサーチクエスチョン

• RQ1 プロキシマル ADMM の漸近的反復複雑度は、従来の文献で確立されていなかったステップサイズ $\theta = (1 + \sqrt{5})/2$ を含むように拡張可能か？
• RQ2 非ユークリッド型 HPE フレームワークは、従来のアプローチと比較して、プロキシマル ADMM の収束速度バウンドをどのようにタイトにできるか？
• RQ3 ブレグマン距離と相対誤差基準は、プロキシマル ADMM の改善された収束複雑度を達成するために果たす役割は何か？
• RQ4 統一されたフレームワークを用いて、$\theta \in (0, (1 + \sqrt{5})/2]$ の範囲で、プロキシマル ADMM の点列的および漸近的収束速度を導出可能か？

主な発見

• プロキシマル ADMM の漸近的反復複雑度は、$\theta = (1 + \sqrt{5})/2$ を含むように拡張され、このステップサイズについて、本論文が初めての結果を提供する。
• 漸近的最適性ギャップは、すべての $k \geq 1$ に対して $\varepsilon_k^a \leq \frac{3[3\theta^2(d_0 + \eta_0) + 4\sigma_\theta(1 + \tau_\theta)(\theta^2 + \theta + 1)d_0]}{\theta^2 k}$ を満たし、$d_0$ は初期双対ギャップを表す。
• 漸近的反復ノルムは、$\|(r_k^a)^*\| \leq \frac{2\sqrt{2(d_0 + \eta_0)}}{k}$ を満たし、漸近的反復の $O(1/k)$ 収束速度を示している。
• プロキシマル ADMM が正式に NE-HPE フレームワークの特殊な例であることが示され、広範な ADMM 変種の統一的収束解析が可能になる。
• 本解析により、既存の文献における収束結果（特に $\theta \in (0, (1 + \sqrt{5})/2)$ の場合）に対する代替証明が得られる。
• フレームワークにより、正定値半定値のプロキシマル項 $H$ および $G$ を一般化でき、より広範な凸最適化問題への適用可能性が拡張される。