[論文レビュー] Convergence of inertial dynamics and proximal algorithms governed by maximally monotone operators

Hédy Attouch, Juan Peypouquet|arXiv (Cornell University)|May 10, 2017

Optimization and Variational Analysis参考文献 20被引用数 3

ひとこと要約

本稿では、最大単調作用素によって支配される単調包含問題を解くために、減衰が消える時間変動型ヨシダ正則化を備えた2階微分型慣性力学系を導入する。連続系を差分法で離散化して得られる新しい正則化慣性近似アルゴリズムを用い、作用素のゼロ点への弱収束を証明するとともに、速度と加速度の消えるレートを明示的に示し、摂動に対してロバストであること、および成長条件を満たす場合の強収束を確立する。

ABSTRACT

We study the behavior of the trajectories of a second-order differential equation with vanishing damping, governed by the Yosida regularization of a maximally monotone operator with time-varying index, along with a new {\em Regularized Inertial Proximal Algorithm} obtained by means of a convenient finite-difference discretization. These systems are the counterpart to accelerated forward-backward algorithms in the context of maximally monotone operators. A proper tuning of the parameters allows us to prove the weak convergence of the trajectories to zeroes of the operator. Moreover, it is possible to estimate the rate at which the speed and acceleration vanish. We also study the effect of perturbations or computational errors that leave the convergence properties unchanged. We also analyze a growth condition under which strong convergence can be guaranteed. A simple example shows the criticality of the assumptions on the Yosida approximation parameter, and allows us to illustrate the behavior of these systems compared with some of their close relatives.

研究の動機と目的

• 時間変動型ヨシダ正則化と減衰が消える2階微分型慣性ダイナミクスの漸近的挙動を、単調包含問題を解くために分析すること。
• 連続系の差分法による離散化を通じて、新しい正則化慣性近似アルゴリズムを構築すること。
• 適切なパrameter調整のもとで、包含問題の解への軌道の弱収束を確立すること。
• 軌道に沿った速度と加速度が無限大に近づく際の消えるレートを定量化すること。
• 摂動や計算誤差がある場合の収束性と、強収束が達成される条件を調査すること。

提案手法

• 最大単調作用素 A の時間変動型ヨシダ正則化 Aλ(t) と、減衰係数 α/t を持つ2階微分方程式を定式化する。
• 時間依存エネルギー関数を用いたリャプノフ解析を適用し、収束挙動を追跡する。
• 連続系の便利な差分法離散化により、新しい正則化慣性近似アルゴリズムを導出する。
• 収束と安定性を保証するために、ヨシダ正則化パラメータ λ(t) を調整する。
• Fubiniの定理と数列のsummability結果を用いて、エネルギーの減衰を評価し、収束を証明する。
• 作用素に特定の成長条件が満たされる場合に強収束が成立することを確立する。

実験結果

リサーチクエスチョン

• RQ1 減衰が消え、時間変動型ヨシダ正則化を備えた慣性系の軌道が、最大単調作用素のゼロ点に弱収束する条件は何か？
• RQ2 時間 t → ∞ のとき、軌道の速度と加速度がどの程度のレートで消えるか？
• RQ3 提案された正則化慣性近似アルゴリズムは、既存の加速手法と比較して収束性およびロバスト性においてどのように異なるか？
• RQ4 摂動やアルゴリズム内の計算誤差がある場合でも、収束性の性質は保たれるか？
• RQ5 作用素にどのような成長条件を課すと、軌道の強収束が保証されるか？

主な発見

• α > 3 のとき、最大単調作用素のゼロ点への軌道の弱収束が確立される。
• エネルギー関数の収束レートは o(1/t²) であり、標準的手法を改善する。
• 速度と加速度の軌道に沿った消えるレートは、それぞれ o(1/t) および o(1/t²) である。
• 時間積分可能な摂動または計算誤差がある場合でも、収束はロバストである。
• 作用素が特定の成長条件を満たす場合、強収束が保証される。この条件の重要性は、ヨシダパラメータ選択の臨界性を示す反例によって提示される。
• 連続系から導出された新しい離散アルゴリズムは、収束性を継承し、最適な収束レートを達成する。