[論文レビュー] Linear convergence of the generalized PPA and several splitting methods for the composite inclusion problem

Li Shen, Shaohua Pan|arXiv (Cornell University)|Aug 21, 2015

Optimization and Variational Analysis参考文献 48被引用数 4

ひとこと要約

本稿では、2つの最大単調作用素とココーエルス作用素を含む複合包含問題に対して、一般化された近接点法（PPA）および複数の分割法——過剰に緩和された前向き・後向き分割、一般化されたドーキンス＝ラッハフォード分割、および3作用素分割——の線形収束を確立する。主な貢献は、強い単調性の仮定を要しないより弱いメトリック部分正則性条件のもとで線形収束を証明したことである。これは、従来の仮定の顕著な緩和である。

ABSTRACT

For the inclusion problem involving two maximal monotone operators, under the metric subregularity of the composite operator, we derive the linear convergence of the generalized proximal point algorithm and several splitting algorithms, which include the over-relaxed forward-backward splitting algorithm, the generalized Douglas-Rachford splitting algorithm and Davis' three-operator splitting algorithm. To the best of our knowledge, this linear convergence condition is weaker than the existing ones that almost all require the strong monotonicity of the composite operator. Withal, we give some sufficient conditions to ensure the metric subregularity of the composite operator. At last, the preliminary numerical performances on some toy examples support the theoretical results.

研究の動機と目的

• 複合包含問題を解く一般化されたPPAおよび代表的な分割アルゴリズムの線形収束レートを確立すること。
• 複合作用素の強い単調性という標準的仮定を、より一般的なメトリック部分正則性条件に緩和すること。
• 解において複合作用素のメトリック部分正則性を保証する十分条件を提供すること。
• トライアル例における初期数値実験を通じて理論的結果を検証すること。
• 分割法の適用範囲を強い単調性の設定にとどまらないより広い凸最適化問題のクラスへ拡張すること。

提案手法

• 解析は、解点 (z*, 0) における複合作用素 F = A + B + C のメトリック部分正則性に依拠しており、これが一般化されたPPAの線形収束を示すことを示している。
• 一般化されたPPAは包含問題 0 ∈ F(z) に適用され、F のメトリック部分正則性のもとで収束が証明されている。
• 過剰に緩和された前向き・後向き分割（FBS）および一般化されたドーキンス＝ラッハフォード分割（DRS）も、同じメトリック部分正則性条件の下で解析されている。
• デイヴィスとインの3作用素分割アルゴリズムも、メトリック部分正則性の設定へ拡張され、線形収束が保証されている。
• 理論的結果は、標準的な最適化問題（例：ℓ₁/ℓ₁およびℓₚ正則化）を複合包含問題の特別なケースとして再定式化することで裏付けられている。
• ℓ₁/ℓ₁およびℓₚ正則化問題に対する数値実験により、一般化されたDRSおよび過剰に緩和されたFBSアルゴリズムの線形収束が確認され、理論的予測を支持している。

実験結果

リサーチクエスチョン

• RQ1 強単調性よりも弱い条件下で、一般化されたPPAおよび分割法の線形収束を確立できるか？
• RQ2 複合作用素 F のメトリック部分正則性が、これらのアルゴリズムの線形収束を十分に保証するか？
• RQ3 解において F のメトリック部分正則性を保証する十分条件は何か？
• RQ4 ℓ₁/ℓ₁およびℓₚ正則化のような実用的問題において、これらのアルゴリズムはどのように性能を発揮するか？
• RQ5 理論的収束結果を3作用素分割フレームワークへ拡張できるか？

主な発見

• 複合作用素 F のメトリック部分正則性のもとで、一般化されたPPAの線形収束が確立された。これは強い単調性よりも厳密に弱い条件である。
• 過剰に緩和された前向き・後向き分割（FBS）アルゴリズムは、F が解においてメトリック的に部分正則であれば線形収束を達成する。
• 一般化されたドーキンス＝ラッハフォード分割（DRS）アルゴリズムも、同じメトリック部分正則性仮定のもとで線形収束を示す。
• デイヴィスとインの3作用素分割アルゴリズムについても、F のメトリック部分正則性のもとで線形収束が成立する。
• ℓ₁/ℓ₁およびℓₚ正則化問題に対する数値結果により、一般化されたDRSおよび過剰に緩和されたFBSアルゴリズムの線形収束が確認され、理論的発見を支持している。
• F のメトリック部分正則性を保証する十分条件が提示されており、特に作用素が多面体的である場合や特定の構造を持つ場合を含む。