[論文レビュー] Extended ADMM and BCD for Nonseparable Convex Minimization Models with Quadratic Coupling Terms: Convergence Analysis and Insights

Caihua Chen, Min Li+2 more|arXiv (Cornell University)|Aug 2, 2015

Sparse and Compressive Sensing Techniques参考文献 52被引用数 8

ひとこと要約

本稿は、二次的結合項を伴う非分離凸最適化問題に対する近接ADMMおよびブロック座標降下法（BCD）の収束性を確立し、2ブロック近接ADMMについては点収束を、ランダムに並べ替えられたADMM（RPADMM）およびBCD（RPBCD）については期待収束を証明する。反復列の有界性仮定なしに、巡回的およびランダム化BCDの初の反復収束結果を提供し、構造の整った問題では巡回的BCDがRPBCDを上回ることを明らかにする。

ABSTRACT

In this paper, we establish the convergence of the proximal alternating direction method of multipliers (ADMM) and block coordinate descent (BCD) for nonseparable minimization models with quadratic coupling terms. The novel convergence results presented in this paper answer several open questions that have been the subject of considerable discussion. We firstly extend the 2-block proximal ADMM to linearly constrained convex optimization with a coupled quadratic objective function, an area where theoretical understanding is currently lacking, and prove that the sequence generated by the proximal ADMM converges in point-wise manner to a primal-dual solution pair. Moreover, we apply randomly permuted ADMM (RPADMM) to nonseparable multi-block convex optimization, and prove its expected convergence for a class of nonseparable quadratic programming problems. When the linear constraint vanishes, the 2-block proximal ADMM and RPADMM reduce to the 2-block cyclic proximal BCD method and randomly permuted BCD (RPBCD). Our study provides the first iterate convergence result for 2-block cyclic proximal BCD without assuming the boundedness of the iterates. We also theoretically establish the expected iterate convergence result concerning multi-block RPBCD for convex quadratic optimization. In addition, we demonstrate that RPBCD may have a worse convergence rate than cyclic proximal BCD for 2-block convex quadratic minimization problems. Although the results on RPADMM and RPBCD are restricted to quadratic minimization models, they provide some interesting insights: 1) random permutation makes ADMM and BCD more robust for multi-block convex minimization problems; 2) cyclic BCD may outperform RPBCD for "nice" problems, and therefore RPBCD should be applied with caution when solving general convex optimization problems.

研究の動機と目的

• 二次的結合項を伴う非分離凸最小化モデルに対する近接ADMMおよびBCDの収束性を確立すること。
• 目的関数が結合二次項によって非分離となる場合の多ブロックADMMおよびBCDの収束に関する未解決問題を解消すること。
• 二次的最適化における巡回的更新とランダムに並べ替えられた更新の間の性能差をADMMおよびBCDで分析すること。
• 反復列の有界性を仮定しない2ブロック巡回的近接BCDに対する初の反復収束結果を提供すること。
• ブロック最適化手法におけるランダム順列更新と巡回的更新の相対的性能およびロバストネスに関する理論的洞察を提供すること。

提案手法

• 2ブロック近接ADMMを、結合二次的目的関数を伴う線形制約付き凸最適化に拡張し、ガウス＝ザイデル更新と近接正則化を用いる。
• 多ブロック問題にランダムに並べ替えられたADMM（RPADMM）を適用し、非分離二次計画問題のクラスに対して期待収束を証明する。
• 線形制約が消える場合、2ブロック近接ADMMおよびRPADMMを巡回的およびランダムに並べ替えられたBCD（RPBCD）に還元する。
• ヘッセ行列および更新行列の構造的性質を証明するために、行列解析および固有値分解を用いる。
• 数学的帰納法および行列式解析を用いて、反復行列の特性方程式における多項式構造を確立する。
• ブロック行列のランク性質を分析し、核空間次元の等価性を証明することで、収束証明を支援する。

実験結果

リサーチクエスチョン

• RQ1 2ブロック近接ADMMは、二次的結合項を伴う非分離凸最小化問題に対して収束するか？
• RQ2 ランダムに並べ替えられたADMM（RPADMM）は、非分離多ブロック二次計画問題に対して期待収束を達成できるか？
• RQ3 反復列の有界性を仮定しない巡回的近接BCDに収束保証はあるか？
• RQ4 多ブロック凸二次最適化においてRPBCDは期待的に収束するか？
• RQ5 構造の整った問題において、RPBCDの収束速度は巡回的BCDに比べてどうか？

主な発見

• 2ブロック近接ADMMは、二次的結合項を伴う非分離凸問題に対して、点-wise に最適解ペアに収束する。
• RPADMMは、非分離二次計画問題のクラスに対して期待収束を達成する。
• 反復列の有界性を仮定しない2ブロック巡回的近接BCDに対する初の反復収束結果が確立された。
• 多ブロックRPBCDが凸二次最適化において期待的に反復収束することを証明した。
• 2ブロック凸二次最適化問題において、RPBCDは巡回的BCDよりも収束が遅くなる可能性があり、これは『良い』問題では巡回的更新がより効果的である可能性を示唆する。
• ランダム順列は多ブロックADMMおよびBCDにおけるロバストネスを向上させるが、構造の整った問題では性能を低下させる可能性があるため、注意深く使用すべきである。