[論文レビュー] An inertial alternating direction method of multipliers

Radu Ioan Boţ, Ernö Robert Csetnek|arXiv (Cornell University)|Apr 17, 2014

Optimization and Variational Analysis参考文献 29被引用数 70

ひとこと要約

本稿では、慣性効果を慣性Douglas-Rachford分裂フレームワークを介して古典的ADMMに組み込むことで、ヒルバート空間における凸最適化のための慣性付き交替方向乗数法（ADMM）を提案する。この手法は反復列および目的関数値の弱収束を達成し、標準的な単調性および正則性条件の下でグローバル収束を保証する。慣性パラメータが消える場合、古典的ADMMが特殊ケースとして含まれる。

ABSTRACT

In the context of convex optimization problems in Hilbert spaces, we induce inertial effects into the classical ADMM numerical scheme and obtain in this way so-called inertial ADMM algorithms, the convergence properties of which we investigate into detail. To this aim we make use of the inertial version of the Douglas-Rachford splitting method for monotone inclusion problems recently introduced in [12], in the context of concomitantly solving a convex minimization problem and its Fenchel dual. The convergence of both sequences of the generated iterates and of the objective function values is addressed. We also show how the obtained results can be extended to the treating of convex minimization problems having as objective a finite sum of convex functions.

研究の動機と目的

• 凸最適化問題における収束速度の向上を目的として、古典的ADMMアルゴリズムの慣性版を開発すること。
• ADMMフレームワークを有限次元の設定を超えて無限次元ヒルバート空間へと拡張し、一般性を高めること。
• 慣性ダイナミクスの下で、プライマルおよびデュアル反復列および目的関数値の収束を確立すること。
• 提案された慣性スキームの特殊ケースとして既存のADMMタイプのアルゴリズムを統一的かつ一般化すること。
• 単調作用素理論およびFenchel双対性を用いて、ADMMにおける慣性効果の理論的基盤を提供すること。

提案手法

• 方法は、単調包含問題に適用された慣性Douglas-Rachford分裂アルゴリズムに基づいて導出される。
• 2階微分包含の時間離散化を用いて、2つの以前の反復値からの外挿により慣性効果を誘導する。
• アルゴリズムは、最大単調作用素の解作用素および凸関数の部分微分のプライマル・デュアル分割スキームによって定式化される。
• 主な構成要素には、運動量的更新を制御する慣性パラメータ $\alpha_k$ と、オーバーリラクセーションを実現する緩和パラメータ $\lambda_k$ が含まれる。
• $x^{k+1}$, $z_i^{k+1}$, および $y_i^{k+1}$ の更新規則は、慣性項を含む増強ラグランジュアンを最小化することから導出される。
• スキームは単一および有限和凸最適化問題に適用され、Fenchel双対性および正則性条件の下で収束が証明される。

実験結果

リサーチクエスチョン

• RQ1 慣性効果は、凸最適化における収束速度の向上を図る古典的ADMMフレームワークに、うまく統合可能か？
• RQ2 有限次元設定と比較して、無限次元ヒルバート空間における慣性ADMMの性能はいかがなものか？
• RQ3 収束を保証するための慣性パラメータ $\alpha_k$ および緩和パラメータ $\lambda_k$ に必要な条件は何か？
• RQ4 慣性パラメータ $\alpha_k$ がすべての $k \geq 1$ でゼロとなる場合、慣性ADMMは古典的ADMMを特殊ケースとして回復するか？
• RQ5 提案された手法は、有限個の凸関数の和を扱えるように拡張可能であり、収束性は保たれるか？

主な発見

• 慣性パラメータ $\alpha_k$ が有界かつ非減少である限り、慣性ADMMアルゴリズムはプライマル問題の最適解に弱収束し、デュアル最適解に対しても弱収束する。
• 列 $\overline{z}_i^k$ はゼロに強く収束する。これは、慣性補正項が漸近的に消えることを示している。
• $x_i^{k+1} - z_i^k$ の差分はゼロに強く収束する。これは、極限においてプライマル妥当性が保証されることを意味する。
• デュアル反復列 $y_i^k$ は最適デュアル解 $\overline{v}_i$ に弱収束する。ただし、共役関数 $f_i^*$ が強凸である場合には強収束する。
• 目的関数値は最適値 $v(P^\Sigma) = v(D^\Sigma)$ に収束する。これは最適コストの収束を確認するものである。
• すべての $k \geq 1$ に対して $\alpha_k = 0$ の場合、古典的ADMMが特殊ケースとして回復され、一般化の妥当性が検証される。