[論文レビュー] A Forward-Backward Splitting Method for Monotone Inclusions Without Cocoercivity

Yura Malitsky, Matthew K. Tam|arXiv (Cornell University)|Aug 13, 2018

Numerical methods in inverse problems参考文献 32被引用数 14

ひとこと要約

本稿では、単価な作用素の共正性を要件としない、単調包含問題に対する新しい前向き・後向き分割法を提案する。この手法は、1反復あたり1回の前向き評価のみを必要とし、Tsengの手法とは異なり2回を要しない。同手法はTsengの手法と同等の弱い仮定の下で収束を示し、実用的な効率性を向上させつつ、弱収束を解に保証する。

ABSTRACT

In this work, we propose a simple modification of the forward-backward splitting method for finding a zero in the sum of two monotone operators. Our method converges under the same assumptions as Tseng's forward-backward-forward method, namely, it does not require cocoercivity of the single-valued operator. Moreover, each iteration only requires one forward evaluation rather than two as is the case for Tseng's method. Variants of the method incorporating a linesearch, relaxation and inertia, or a structured three operator inclusion are also discussed.

研究の動機と目的

• 単価な作用素の共正性を要件としない前向き・後向き分割法を、単調包含問題に適用して収束するように開発すること。
• Tsengの手法が2回の前向き評価を要するのに対し、1反復あたり1回の前向き評価のみを用いることで、計算コストを低減すること。
• ラインサーチ、緩和、インertia、構造的三作用素包含問題への拡張を含む手法の拡張。
• Tsengの手法の既知で最も弱い条件と同等の最小限の仮定の下での収束解析を提供すること。
• 固定点理論との関連を探索し、今後の研究における加速スキームの可能性を検討すること。

提案手法

• 各反復で単価作用素 B の1回の前向き評価と、A のリゾルベントの1回の後向き評価を実行する。
• 過去の勾配評価の反射を組み込んだ修正された前向き・反射・後向きステップを導入し、収束を安定化する。
• アルゴリズムは $ x_{k+1} = J_{\lambda A}(x_k - \lambda B(x_k) + \lambda (B(x_k) - B(x_{k-1}))) $ として表現され、過去と現在の勾配情報が統合される。
• 収束は、与えられた仮定の下でスーパーマルティンゲールであることが示されるリャプノフ関数 $ \varphi_k $ を用いて確立される。
• 更新則の適切な変更により、ラインサーチ、緩和、インertia、構造的三作用素包含問題への拡張が可能となる。
• 将来の方向として、大規模設定における B の低コスト近似を活用した確率的および座標変更拡張が検討される。

実験結果

リサーチクエスチョン

• RQ1 単価作用素の共正性を要件としない前向き・後向き法を設計できるか？
• RQ2 Tsengの手法と同等の収束保証を維持しつつ、1反復あたり1回の前向き評価でのみ収束を達成できるか？
• RQ3 反射勾配項は、弱い仮定の下で収束を安定化するために果たす役割は何か？
• RQ4 緩和、インertia、または構造的三作用素包含問題への拡張を含む手法の適応はどのように可能か？
• RQ5 大規模問題向けに、確率的または座標勾配降下変種に拡張できるか？

主な発見

• 提案手法は、Tsengの手法と同等の仮定の下で、B の共正性を要件とせず、単調包含 $ 0 \in (A + B)(x) $ の解に弱収束する。
• 収束は、スーパーマルティンゲールであることが示されるリャプノフ関数 $ \varphi_k $ を用いて確立され、反復列のほとんど確実な収束と、連続する反復間の差分の消滅を示唆する。
• 本手法は1反復あたり1回の前向き評価でのみ収束を達成し、Tsengの手法が2回を要するのに対し、計算コストを低減する。
• 列 $ (x_k) $ はほとんど確実に有界であり、すべての弱収束クラスターポイントは $ (A + B)^{-1}(0) $ に属するため、解に弱収束する。
• 適切な単調包含への再定式化により、凸最小化、サドルポイント問題、変分不等式問題に適用可能である。
• 解析から加速や確率的拡張の可能性が示唆されるが、固定点解釈は未解決の研究課題のまま残っている。