[論文レビュー] A Majorized ADMM with Indefinite Proximal Terms for Linearly Constrained Convex Composite Optimization

Min Li, Defeng Sun+1 more|arXiv (Cornell University)|Dec 5, 2014

Sparse and Compressive Sensing Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、線形制約付き凸複合最適化問題を解くために、不定な近接項を有する主要化逐次乗数法（ADMM）を提案する。従来の半正定値条件に代えて不定近接項を許容することにより、ステップ長が (0, (1+√5)/2) の範囲でグローバル収束が達成され、反復回数の複雑性が向上する。数値結果では、標準ADMMと比較して反復回数が最大70%削減されることが示された。

ABSTRACT

This paper presents a majorized alternating direction method of multipliers (ADMM) with indefinite proximal terms for solving linearly constrained $2$-block convex composite optimization problems with each block in the objective being the sum of a non-smooth convex function and a smooth convex function, i.e., $\min_{x \in {\cal X}, \; y \in {\cal Y}}\{p(x)+f(x) + q(y)+g(y)\mid A^* x+B^* y = c\}$. By choosing the indefinite proximal terms properly, we establish the global convergence and $O(1/k)$ ergodic iteration-complexity of the proposed method for the step-length $τ\in (0, (1+\sqrt{5})/2)$. The computational benefit of using indefinite proximal terms within the ADMM framework instead of the current requirement of positive semidefinite ones is also demonstrated numerically. This opens up a new way to improve the practical performance of the ADMM and related methods.

研究の動機と目的

• 標準ADMMが半正定値近接項を必要とするという制限を解消し、収束性と効率性に悪影響を及える可能性を軽減すること。
• 実用的性能の向上を図るため、不定近接項を許容する収束性を保証するADMMの変種を開発すること。
• 緩和された条件下でグローバル収束性および非平均的／平均的反復複雑性の上限を確立すること。
• 数値的に、不定近接項が実際の問題解決において反復回数を著しく削減することを示すこと。
• 従来の半正定値正則化にとどまらず、ADMMの理論的・実用的適用範囲を拡張すること。

提案手法

• 増加ラグランジュアンを最小化する際に、不定近接項を部分問題に追加する主要化ADMMフレームワークを導入する。
• 滑らかでない部分の凸上界を構築するためにマジョライゼーションを用い、部分問題の効率的解法を可能にする。
• 近接項として $ S = \rho_3 I - \widehat{\Sigma}_f - \sigma AA^* $ の形を採用し、部分問題ヘッセ行列の十分な正定値性を保証するための $ \rho_3 $ を選択する。
• 残差が閾値を超えた場合にリスタート戦略を適用し、収束を維持するために動的に近接パラメータ $ \gamma_3 $ を増加させる。
• 不定な $ S $ を許容するための新規収束解析を基盤とし、条件 $ \widehat{\Sigma}_f + S + \eta \sigma AA^* \succ 0 $ を用いる。
• ステップ長 $ \tau \in (0, (1+\sqrt{5})/2) $ の範囲で、非平均的および平均的両方の反復複雑性上限を導出する。これは古典的ADMMを改善するものである。

実験結果

リサーチクエスチョン

• RQ1 凸複合最適化問題に対して、収束性を損なわずにADMMで不定近接項を使用できるか？
• RQ2 不定近接項にどのような条件を課すとグローバル収束性および反復複雑性の上限が保証されるか？
• RQ3 不定近接項を有するADMMの性能は、標準のsPADMMと比較して実際の問題でどのように異なるか？
• RQ4 不定項の使用により、ある精度に到達するまでの反復回数を削減できるか？
• RQ5 ADMMにおいて半正定値近接項を不定なものに置き換えることで、理論的および実用的影響は何か？

主な発見

• 提案手法である不定近接項を有する主要化iPADMMは、$ \tau \in (0, (1+\sqrt{5})/2) $ の範囲でグローバル収束を達成し、古典的収束範囲を拡張した。
• 数値実験の結果、さまざまな問題サイズにおいて、iPADMMは標準sPADMMと比較して反復回数を50～70%削減した。
• 8000 × 16000の問題では、$ \tau = 1.618 $ の場合にiPADMMはsPADMMの57.7%の反復回数で、$ \tau = 1 $ の場合には53.1%の反復回数で収束した。
• パラメータ選択に対してロバストであり、問題インスタンス1つあたりリスタートは最大1回までであり、有限回のリスタートが保証された。
• 不定近接項の使用により、部分問題の解法が高速化され、特に大規模問題においては条件数の改善が顕著に見られた。
• 理論的解析により、新しい不定近接項フレームワーク下でも非平均的および平均的反復複雑性の上限が保たれることを確認した。