[論文レビュー] A Linearly Convergent Majorized ADMM with Indefinite Proximal Terms for Convex Composite Programming and Its Applications

Ning Zhang, Jia Wu+1 more|arXiv (Cornell University)|Jun 6, 2017

Sparse and Compressive Sensing Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、凸複合最適化問題に対して、不定な近接項を有する主要化ADMM（iPADMM）を提案する。これは、より弱い条件下で線形収束を達成し、局所的誤差バインディングを満たす。本手法は、対称Gauss-Seidelを用いて多ブロック問題へ拡張され、正則化ロジスティック回帰において、半近接項バージョンと比較して反復回数を30–50％削減する優れた効率性を示す。

ABSTRACT

This paper aims to study a majorized alternating direction method of multipliers with indefinite proximal terms (iPADMM) for convex composite optimization problems. We show that the majorized iPADMM for 2-block convex optimization problems converges globally under weaker conditions than those used in the literature and exhibits a linear convergence rate under a local error bound condition. Based on these, we establish the linear rate convergence results for a symmetric Gaussian-Seidel based majorized iPADMM, which is designed for multi-block composite convex optimization problems. Moreover, we apply the majorized iPADMM to solve different types of regularized logistic regression problems. The numerical results on both synthetic and real datasets demonstrate the efficiency of the majorized iPADMM and also illustrate the effectiveness of the introduced indefinite proximal terms.

研究の動機と目的

• 2ブロック凸最適化における不定近接項を有する主要化ADMMのグローバル収束性および線形収束速度の確立。
• 対称Gauss-Seidel戦略を用いて、多ブロック問題への収束解析の拡張。
• 標準的な半近接項アプローチと比較して、数値的性能を向上させる不定近接項の有効性と効率性の実証。
• 正則化ロジスティック回帰への応用と、合成データおよび実データ上での優位性の検証。

提案手法

• 正定値作用素bΣfとbΣgに基づく上界二次モデルを用いて、正定値作用素に基づく上界を用い、リプシッツ定数に置き換える。
• 反復スキームを設計し、変数yとzに対してそれぞれ不定近接項SとTを用いて部分問題を解く。
• 多ブロック問題を等価な2ブロック問題に再定式化することで、対称Gauss-Seidel更新順序を用いて処理する。
• 局所的誤差バインディング条件の下で線形収束を確立し、標準的な半近接項ADMMを超える収束結果を一般化する。
• パラメータτ ∈ (0, (1+√5)/2)を用い、S, Tが不定であっても許容する。これにより適用範囲が拡大される。
• 分離可能な構造を有する凸複合問題として定式化することで、正則化ロジスティック回帰に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 既存手法と比較して、より弱い仮定のもとで、不定近接項を有する主要化ADMMが線形収束を達成できるか？
• RQ2 対称Gauss-Seidelに基づくiPADMMの変種は、多ブロック問題に対しても線形収束を維持できるか？
• RQ3 実際の応用において、bΣf（正定値作用素）を用いることと、リプシッツ定数λmax(bΣf)を用いることの比較的性能はいかが？
• RQ4 ロジスティック回帰において、iPADMMは主要化sPADMMおよびL-主要化ADMMと比較して、どの程度の実効的性能向上を示すか？
• RQ5 大規模最適化において、不定近接項は収束速度およびロバストネスを向上させることができるか？

主な発見

• 主要化iPADMMは、局所的誤差バインディング条件の下でグローバル収束性および線形収束速度を達成し、先行研究と比較してより弱い仮定で成立する。
• 合成データおよび実データの両方において、iPADMMは主要化sPADMMと比較して反復回数を30–50％削減した。
• 制約付きロジスティック回帰において、iPADMMはL-主要化ADMMを上回り、一部のケースでは50,000反復以内に収束しなかったL-主要化ADMMと比較して優位であった。
• 対称Gauss-Seidelに基づくiPADMMは、特別に構築された（おそらく不定な）近接項を有する2ブロックiPADMMと等価であるため、線形収束を達成する。
• 数値実験では、λmax(bΣf)ではなくbΣfを用いることで、収束が速くなり、性能が向上することが示された（図2を参照）。
• rcv1.binaryやnews20.binaryなどのデータセットにおいて、実行時間および反復回数の大幅な削減が確認され、一部のケースで最大278.54秒の時間短縮が達成された。