[論文レビュー] Weighted iteration complexity of the sPADMM on the KKT residuals for convex composite optimization

Li Shen, Shaohua Pan|arXiv (Cornell University)|Nov 10, 2016

Sparse and Compressive Sensing Techniques参考文献 25被引用数 5

ひとこと要約

本稿は、凸合成最適化におけるsPADMMのKKT残差に関して、新しい一般化HPEフレームワークを用いて、O(1/k)の重み付き反復複雑度を確立する。これは、大ステップサイズを用いるADMMおよびそのプロキシマル変種における有効収束レートを証明することで、重要なギャップを埋めるものであり、明示的な劣離差境界を伴うグローバル収束を保証する。

ABSTRACT

In this paper we establish an $\mathcal{O}({1}/{k})$ weighted iteration complexity on the KKT residuals yielded by the sPADMM (semi-proximal alternating direction method of multiplier) for the convex composite optimization problem. This result, which is derived with the help of a novel generalized HPE (hybrid proximal extra-gradient) iteration formula, first fills the gap on the ergodic iteration complexity of the classic ADMM with a large step-size and its many proximal variants.

研究の動機と目的

• 黄金比以上（≥黄金比）の大きなステップサイズを用いる際の古典的ADMMおよびそのプロキシマル変種における有効反復複雑度解析の欠如に対処する。
• 凸合成最適化問題におけるsPADMMのKKT残差に対する収束レート保証を提供する。
• 重み付き反復複雑度バウンドを導出するために、新しい一般化HPE反復式を開発する。
• 最小限の仮定の下で、sPADMMのグローバル収束と明示的な劣離差境界を確立する。
• 多ブロックおよび非滑らか最適化問題におけるADMM型手法の収束解析における理論的ギャップを埋める。

提案手法

• sPADMMに特化した一般化HPEフレームワークを導入し、重み付き反復複雑度の分析を可能にする。
• プライマル・デュアル反復差とプロキシマル項に基づく新しいリャプノフ関数を定義し、収束を追跡する。
• sPADMM反復において、y、z、x変数の更新を分離するための三項分割構造を用いる。
• 解集合T⁻¹(0)への距離とプライマル残差のノルムを含む再帰的不等式を確立する。
• 初期進捗項d₁およびη₁の上界を、初期反復から解集合までの距離を用いて導出する。
• 演算子S、T、Σを用いた重み付きノルム構造を採用し、収束速度を制御し、有界性を保証する。

実験結果

リサーチクエスチョン

• RQ1 凸合成最適化におけるsPADMMのKKT残差に関して、O(1/k)の重み付き反復複雑度を確立できるか？
• RQ2 ステップサイズが黄金比を超過する場合、sPADMMは明示的な劣離差境界を伴う有効収束を達成できるか？
• RQ3 ADMMおよびそのプロキシマル変種の収束解析を統一・拡張できる一般化HPEフレームワークを構築できるか？
• RQ4 初期反復および問題構造は、sPADMMの収束速度にどのように影響するか？
• RQ5 強い正定値性を要求しないで、反復複雑度バウンドを導出することは可能か？

主な発見

• sPADMMは、凸合成最適化問題におけるKKT残差に関して、O(1/k)の重み付き反復複雑度を達成する。
• 収束レートは、最小限の仮定の下で分析可能な新しい一般化HPEフレームワークを用いて確立された。
• この結果は、黄金比以上（≥黄金比）のステップサイズを用いるADMMにおける有効反復複雑度文献における重要なギャップを埋める。
• d₁およびη₁の上界は、初期反復から解集合T⁻¹(0)までの距離の二乗に比例する。
• プロキシマル項SおよびTが、S + Σ_φ_f + βAA* や T + Σ_φ_g + βBB* が正定値である必要はない。
• 収束はグローバルであり、KKT残差とプライマル・デュアル反復を含む重み付きノルムを用いて劣離差が明示的に定量化される。