[論文レビュー] A dynamic approach to a proximal-Newton method for monotone inclusions in Hilbert spaces, with complexity O(1/n^2)

Hédy Attouch, M. Marques Alves+1 more|arXiv (Cornell University)|Feb 15, 2015

Optimization and Variational Analysis参考文献 19被引用数 4

ひとこと要約

本稿では、ヒルバート空間における単調包含を解くために、正則化パラメータ λ(t) を閉ループで調整する新しい動的システムと、それに付随するプロキシマル・ニュートン法を提案する。λ(t) は時間とともに無限大に発散する。この手法は、凸最小化問題に対して最適な O(1/t²) の収束速度を達成し、離散的設定では O(1/n²) の複雑度を示す。誤差バインディング条件の下では超線形収束を達成する。

ABSTRACT

In a Hilbert setting, we introduce a new dynamical system and associated algorithms for solving monotone inclusions by rapid methods. Given a maximal monotone operator $A$, the evolution is governed by the time dependent operator $I -(I + λ(t) {A})^{-1}$, where the positive control parameter $λ(t)$ tends to infinity as $t o + \infty$. The tuning of $ λ(\cdot) $ is done in a closed-loop way, by resolution of the algebraic equation $λ orm{(I + λ{A})^{-1}x -x}=θ$, where $θ$ is a positive given constant. The existence and uniqueness of a strong global solution for the Cauchy problem follows from Cauchy-Lipschitz theorem. We prove the weak convergence of the trajectories to equilibria, and superlinear convergence under an error bound condition. When $A =\partial f$ is the subdifferential of a closed convex function $f$, we show a $\bigo(1/t^2)$ convergence property of $f(x(t))$ to the infimal value of the problem. Then, we introduce proximal-like algorithms which can be obtained by time discretization of the continuous dynamic, and which share the same fast convergence properties. As distinctive features, we allow a relative error tolerance for the solution of the proximal subproblem similar to the ones proposed in ~\cite{So-Sv1, So-Sv2}, and a large step condition, as proposed in~\cite{MS1,MS2}. For general convex minimization problems, the complexity is $\bigo(1/n^2)$. In the regular case, we show the global quadratic convergence of an associated proximal-Newton method.

研究の動機と目的

• ヒルバート空間における単調包含を解くための高速収束性を示す連続的および離散的動的システムの開発。
• プロキシマル法における固定またはオープンループのパrameter選択の限界を克服するため、正則化パラメータ λ(t) の閉ループ制御を導入すること。
• 凸最小化問題に対して最適な O(1/t²) の収束速度と、離散的アルゴリズムにおける O(1/n²) の複雑度を達成すること。
• 誤差バインディング仮定の下で、グローバル収束および超線形収束を確立すること。

提案手法

• 本手法は、最大単調作用素 A によって記述される二階微分方程式 $\dot{x}(t) + x(t) - (I + \lambda(t)A)^{-1}x(t) = 0$ に従う動的システムを採用する。
• パrameter $\lambda(t)$ は、閉ループ条件 $\lambda(t)\| (I + \lambda(t)A)^{-1}x(t) - x(t) \| = \theta$ により動的に調整され、$\theta > 0$ は固定値である。
• このシステムにより、$t \to \infty$ のとき $\lambda(t) \to \infty$ が保証され、問題パラメータの事前知識がなくても高速収束が可能になる。
• 連続システムの時間離散化により、相対誤差許容範囲と大きなステップサイズ条件を満たす新しいプロキシマル型アルゴリズムが得られる。
• この手法は、正則化ニュートン動力学と関連しており、$\lambda(t) \to \infty$ は正則化の消失を意味し、収束速度の向上をもたらす。
• 部分微分作用素 $A = \partial f$ の場合、$f(x(t)) - \inf f \leq C_1 / (1 + C_2 t)^2$ が保証される。

実験結果

リサーチクエスチョン

• RQ1 単調包含のための動的システムを設計可能か。特に、正則化パラメータ $\lambda(t)$ が閉ループで自己調整され、$t \to \infty$ のとき無限大に発散するようにすることで、収束を加速できるか。
• RQ2 得られる連続的軌道 $x(t)$ はどのような収束特性を示すか。特に、収束速度および弱収束・強収束の観点から。
• RQ3 連続的ダイナミクスを離散化することで、凸最小化問題に対して $\mathcal{O}(1/n^2)$ の複雑度を持つアルゴリズムが得られるか。
• RQ4 どのような条件下で本手法は超線形収束を達成するのか。誤差バインディング条件が収束速度に与える影響は。
• RQ5 古典的なプロキシマル法およびニュートン型手法と比較して、本手法の収束速度とロバスト性はどのように異なるか。

主な発見

• 初期値 $x_0 \notin A^{-1}(0)$ の任意の条件下でも、連続的ダイナミクス（LSP）は一意の強いグローバル解を持つ。$t \to \infty$ のとき $\lambda(t)$ は無限大に発散する。
• 弱収束性が $x(t)$ が $A^{-1}(0)$ の解に収束することを確立。追加の正則性条件の下では強収束も成立する。
• $A = \partial f$ の場合、目的関数は $f(x(t)) - \inf f \leq C_1 / (1 + C_2 t)^2$ を満たし、$\mathcal{O}(1/t^2)$ の収束が証明される。
• 時間離散化されたアルゴリズムは高速収束を継承し、一般の凸最小化問題に対して $\mathcal{O}(1/n^2)$ の複雑度を達成する。
• 誤差バインディング条件の下では、超線形収束を示し、$\|x(t) - x_*\| \to 0$ が任意の多項式速度よりも速くなる。
• 正則な状況下では、関連するプロキシマル・ニュートン法はグローバル2次収束を達成する。