[論文レビュー] On the convergence properties of a majorized ADMM for linearly constrained convex optimization problems with coupled objective functions

Ying Cui, Xudong Li+2 more|arXiv (Cornell University)|Jan 31, 2015

Optimization and Variational Analysis参考文献 14被引用数 41

ひとこと要約

本稿では、結合された目的関数を伴う線形制約付き凸最適化問題に対して、一般化された平均値定理を用いて結合項を制御することで、主要化された ADMM の収束を確立する。大規模なステップサイズ τ ∈ (0, (1+√5)/2) におけるグローバル収束を証明し、ε-近似解を得るための O(1/ε) 反復複雑度を提供する。

ABSTRACT

In this paper, we establish the convergence properties for a majorized alternating direction method of multipliers (ADMM) for linearly constrained convex optimization problems whose objectives contain coupled functions. Our convergence analysis relies on the generalized Mean-Value Theorem which plays an important role to properly control the cross terms due to the presence of coupled objective functions. Our results in particular show that directly applying 2-block ADMM with a large step length to the linearly constrained convex optimization problem with a quadratically coupled objective function is convergent under mild conditions. We also provide several iteration complexity results for the algorithm.

研究の動機と目的

• 結合された目的関数を伴う線形制約付き凸最適化問題に対する主要化 ADMM の収束性を確立すること。
• 目的関数が結合項によって非分離的となる場合の ADMM における収束解析の欠如を解決すること。
• やや弱い条件下でアルゴリズムの反復複雑度結果を提供すること。
• 結合関数が凸二次関数である場合の収束保証を拡張すること。

提案手法

• 非分離的かつ結合された目的関数を扱うために、補助変数と近似項を導入することで、主要化 ADMM フレームワークを用いる。
• 結合関数 φ(u,v) に起因する結合項を制御するために、一般化された平均値定理を適用する。
• 一般化ヘッシアンと近似演算子 S および T を含むリャプノフ型関数を通じて収束条件を導出する。
• シュール補行列の技術と行列不等式を用いて、反復の減少行動と収束性を分析する。
• 反復の不等式を合算し、目的関数の凸性を活用することで、有効な反復複雑度の境界を確立する。
• 標準的および主要化 ADMM の両方のバリアントを検討し、ステップサイズ τ および近似パラメータに関する明示的な条件を提示する。

実験結果

リサーチクエスチョン

• RQ1 結合された目的関数を伴う線形制約付き凸最適化問題に対して、主要化 ADMM がどのような条件下で収束するか。
• RQ2 結合された滑らかで凸な関数 φ(u,v) の存在が、ADMM の収束行動にどのように影響を与えるか。
• RQ3 ステップサイズ τ > 1 の ADMM が、このような問題に対してグローバルに収束可能か。
• RQ4 主要化 ADMM の反復複雑度は、ε-最適解を達成する観点からどのように表されるか。
• RQ5 収束解析を複数ブロック問題や不定近似項を含む場合に拡張可能か。

主な発見

• ステップサイズ τ ∈ (0, (1+√5)/2) を有する主要化 ADMM は、結合された目的関数を伴う線形制約付き凸最適化問題に対してグローバルに収束する。
• 一般化された平均値定理を用いて結合項を制御することで、やや弱い条件下でも収束を確立する。
• 凸二次関数としての結合関数に対しては、結合パラメータ η の影響が消失する（η = 0）ため、収束条件が単純化される。
• アルゴリズムは、有効な反復複雑度 O(1/ε) を達成し、ε-最適解を有効に得る。
• プライムの妥当性と目的関数の有効収束速度は O(1/k) であり、リャプノフ関数解析から明示的な境界が導出される。
• 従来の分離可能 ADMM における複雑度境界を、非分離的かつ結合的設定に拡張し、統一的な収束フレームワークを提供する。