[論文レビュー] A forward-backward-forward differential equation and its asymptotic properties

Sebastian Banert, Radu Ioan Boţ|arXiv (Cornell University)|Mar 26, 2015

Numerical methods in inverse problems参考文献 17被引用数 20

ひとこと要約

本稿では、ヒルバート空間における単調包含問題を解くために、時間変動パラメータを有する新しい暗黙的前向き・後向き・前向き微分方程式を導入し、強いグローバル解の存在と一意性を証明する。解の軌道の弱収束を確立し、強い単調性のもとで指数的収束を示す。凸最適化の文脈では、時間平均的目的関数値の収束速度がO(1/t)であることを示す。

ABSTRACT

In this paper, we approach the problem of finding the zeros of the sum of a maximally monotone operator and a monotone and Lipschitz continuous one in a real Hilbert space via an implicit forward-backward-forward dynamical system with nonconstant relaxation parameters and stepsizes of the resolvents. Besides proving existence and uniqueness of strong global solutions for the differential equation under consideration, we show weak convergence of the generated trajectories and, under strong monotonicity assumptions, strong convergence with exponential rate. In the particular setting of minimizing the sum of a proper, convex and lower semicontinuous function with a smooth convex one, we provide a rate for the convergence of the objective function along the ergodic trajectory to its minimum value.

研究の動機と目的

• 最大単調作用素と単調かつリプシッツ連続作用素を含む単調包含問題を解くための連続時間動的システムの構築を目的とする。
• このシステムによって生成される軌道の漸近的挙動を、異なる仮定のもとで弱収束および強収束の観点から分析すること。
• 凸合成最適化の文脈において、目的関数の収束速度を導出すること。
• リャプノフ解析を通じて、連続的ダイナミクスと離散的前向き・後向き・前向きアルゴリズムの間のギャップを埋めること。

提案手法

• 時間依存の緩和パラメータγ(t) ∈ (0, β)を用い、最大単調作用素の解像度を介して暗黙の前向き・後向き・前向き構造を定義する。
• 動的システムは、解像度Jγ(t)Aと、B(x(t))およびB(z(t))を含む勾配様項を含む2階微分方程式によって支配される。
• カウチ＝リプシッツ＝ピカールの定理を用いて、強いグローバル解の存在と一意性を確立する。
• 収束解析にはリャプノフ関数が用いられ、エネルギーの減衰を用いて軌道の弱収束を証明する。
• 凸最適化の文脈では、時間平均軌道を分析し、f + hの収束速度を導出する。
• このシステムの離散的対応が同様の収束速度を達成することを示し、連続モデルが離散アルゴリズムの連続的緩和としての妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 提案された暗黙の前向き・後向き・前向き微分方程式は、時間変動パラメータのもとで強いグローバル解を有するか？
• RQ2 軌道x(t)が単調包含問題0 ∈ Ax + Bxの解に弱収束する条件は何か？
• RQ3 A + Bが強く単調である場合、指数的レートで強収束を達成できるか？
• RQ4 凸最適化の文脈で、時間平均軌道に沿った目的関数f + hの収束速度はどの程度達成できるか？
• RQ5 連続的システムは、離散的前向き・後向き・前向きアルゴリズムと、収束挙動の観点でどのように関係するか？

主な発見

• 任意の初期点x₀ ∈ Hおよびルベーグ可測な緩和関数γ(t) ∈ (0, β)に対して、微分方程式は一意な強いグローバル解を有する。
• やや弱い仮定のもとで、軌道x(t)はt → ∞のとき、単調包含問題0 ∈ Ax + Bxの解に弱収束する。
• A + Bが強く単調である場合、解の軌道は指数的レートで強収束する。
• 合成凸最適化問題min f(x) + h(x)において、時間平均軌道は最小値にO(1/t)のレートで収束し、具体的には(f + h)(ζₜ) ≤ (f + h)(x) + ‖x₀ − x‖² / (2Γ(t))が成り立つ。
• 離散的前向き・後向き・前向きアルゴリズムも同様の収束速度を有するため、連続モデルが数値スキームの理論的基盤として有効であることが確認される。
• リャプノフ関数とエネルギー減衰の議論を通じて、収束解析が検証され、強固な理論的基盤が提供される。