[論文レビュー] An inertial forward-backward-forward primal-dual splitting algorithm for solving monotone inclusion problems

Radu Ioan Boţ, Ernö Robert Csetnek|arXiv (Cornell University)|Feb 21, 2014

Optimization and Variational Analysis参考文献 26被引用数 7

ひとこと要約

本稿では、最大単調作用素とリプシッツ連続作用素の和を含む単調包含問題を解くための慣性付き前向き後向き前向きプライマルデュアル分割法を提案する。慣性ダイナミクスと積空間の再定式化を活用することで、弱収束性が弱い条件下で保証され、一様凸性の仮定のもとで強収束性が保証される。これは、複雑な単調作用素構造（線形合成型や並列和型を含む）に適用可能な完全に分解可能な前向き後向き型スキームを提供する。

ABSTRACT

We introduce and investigate the convergence properties of an inertial forward-backward-forward splitting algorithm for approaching the set of zeros of the sum of a maximally monotone operator and a single-valued monotone and Lipschitzian operator. By making use of the product space approach, we expand it to the solving of inclusion problems involving mixtures of linearly composed and parallel-sum type monotone operators. We obtain in this way an inertial forward-backward-forward primal-dual splitting algorithm having as main characteristic the fact that in the iterative scheme all operators are accessed separately either via forward or via backward evaluations. We present also the variational case when one is interested in the solving of a primal-dual pair of convex optimization problems with intricate objective functions.

研究の動機と目的

• ヒルバート空間における最大単調作用素と単調かつリプシッツ連続作用素の和を解くための慣性付き前向き後向き前向きアルゴリズムの開発。
• 積空間アプローチを用いて、線形合成型および並列和型作用素の混合を含むプライマルデュアル単調包含問題にアルゴリズムを拡張。
• 各作用素を別々に前向きまたは後向きステップでアクセスすることで、完全な分解可能性を確保し、実装可能性を向上。
• 一般化されたフェージェール単調性技術と慣性外挿法を用いて収束性の性質を確立。
• 線形写像やインフィミナル合成を含む複雑な構造の目的関数を持つ凸最適化問題へのフレームワークの応用。

提案手法

• アルゴリズムは、2階微分方程式系にインspiredされた2つの直前反復を用いた慣性外挿法を採用し、収束を加速する。
• 前向き後向き前向きスキームを用いる：単値的リプシッツ連続作用素に対しては前向きステップ、最大単調作用素のリゾルベントによる後向きステップを実行。
• 積空間アプローチにより、プライマルデュアル包含問題を積ヒルバート空間における構造化された単調包含問題に再定式化し、作用素の別々の評価を可能にする。
• プライマルおよびデュアル変数の両方で、収束条件を満たすようにα₁,nおよびα₂,nという慣性パラメータを導入。
• Fenchel-Rockafellar双対性を用いて凸最適化に応用し、プライマルデュアルペアを共役関数と線形作用素を含む単調包含問題に変換。
• 主な構成要素には、fおよびg_i^*のproximal写像、hおよびl_i^*の勾配、線形作用素L_i^*の随伴作用素が含まれる。

実験結果

リサーチクエスチョン

• RQ1 最大単調作用素とリプシッツ連続作用素を含む単調包含問題に対して、慣性付き前向き後向き前向きアルゴリズムを設計し、収束性を証明可能か。
• RQ2 慣性ダイナミクスをプライマルデュアル分割スキームに統合する方法は何か。その際、完全な分解可能性と収束性を保持できるか。
• RQ3 どのような条件下で、アルゴリズムが解へ強収束するか。
• RQ4 提案手法は、線形合成型や並列和型作用素といった複雑な作用素構造を扱えるか。
• RQ5 非滑らかかつ強く凸でない目的関数を持つ凸最適化問題に適用した際の収束保証は何か。

主な発見

• 反復列x_nおよびv_i,nが、プライマルデュアルペアの最適性条件を満たす解( x̄, v̄_1, ..., v̄_m )へ弱収束する。
• ∑‖x_{n+1}−x_n‖²、∑‖x_n−p_{1,n}‖²、∑‖v_{i,n+1}−v_{i,n}‖²、および∑‖v_{i,n}−p_{2,i,n}‖²のすべての級数が収束することから、漸近的安定性が示される。
• f+hが一様凸であればx_nのx̄への強収束が保証され、g_i^*+l_i^*が一様凸であればv_i,nのv̄_iへの強収束が達成される。
• 収束条件としてλ_nが0から離れていること、α_1,nおよびα_2,nが非減少でかつα_1,n, α_2,n ≤ α_1, α_2を満たし、さらに12α₂² + 9(α₁+α₂) + 4σ < 1を満たす必要がある。
• 包含制約が満たされる相対内部に点が存在するという正則性条件のもとで、アルゴリズムは依然として適用可能である。
• 慣性項を組み込み、ココーサイド的でない作用素にも適用可能なようにすることで、Tsengの前向き後向き前向きおよびプライマルデュアル分割スキームを一般化する。