[논문 리뷰] A dynamic approach to a proximal-Newton method for monotone inclusions in Hilbert spaces, with complexity O(1/n^2)

Hédy Attouch, M. Marques Alves외 1명|arXiv (Cornell University)|2015. 02. 15.

Optimization and Variational Analysis참고 문헌 19인용 수 4

한 줄 요약

이 논문은 힐버트 공간 내 단조 포함 문제를 해결하기 위해 새로운 동적 시스템과 관련된 프록시멀-뉴턴 알고리즘을 제안한다. 이 시스템은 시간이 지남에 따라 무한대가 되는 정규화 매개변수 λ(t)의 피드백 루프 조절 방식을 사용한다. 이 방법은 볼록 최소화 문제에서 최적의 O(1/t²) 수렴 속도를 달성하며, 이산 설정에서는 O(1/n²) 복잡도를 보이며, 오차 유계 조건 하에서는 초선형 수렴을 달성한다.

ABSTRACT

In a Hilbert setting, we introduce a new dynamical system and associated algorithms for solving monotone inclusions by rapid methods. Given a maximal monotone operator $A$, the evolution is governed by the time dependent operator $I -(I + λ(t) {A})^{-1}$, where the positive control parameter $λ(t)$ tends to infinity as $t o + \infty$. The tuning of $ λ(\cdot) $ is done in a closed-loop way, by resolution of the algebraic equation $λ orm{(I + λ{A})^{-1}x -x}=θ$, where $θ$ is a positive given constant. The existence and uniqueness of a strong global solution for the Cauchy problem follows from Cauchy-Lipschitz theorem. We prove the weak convergence of the trajectories to equilibria, and superlinear convergence under an error bound condition. When $A =\partial f$ is the subdifferential of a closed convex function $f$, we show a $\bigo(1/t^2)$ convergence property of $f(x(t))$ to the infimal value of the problem. Then, we introduce proximal-like algorithms which can be obtained by time discretization of the continuous dynamic, and which share the same fast convergence properties. As distinctive features, we allow a relative error tolerance for the solution of the proximal subproblem similar to the ones proposed in ~\cite{So-Sv1, So-Sv2}, and a large step condition, as proposed in~\cite{MS1,MS2}. For general convex minimization problems, the complexity is $\bigo(1/n^2)$. In the regular case, we show the global quadratic convergence of an associated proximal-Newton method.

연구 동기 및 목표

• 힐버트 공간 내 단조 포함 문제를 해결하기 위한 빠른 수렴 속도를 보이는 연속적이고 이산적인 동적 시스템을 개발하기 위해.
• 프록시멀 방법에서 고정 또는 개방 루프 매개변수 선택의 한계를 극복하기 위해 정규화 매개변수 λ(t)에 대한 피드백 루프 제어를 도입하기 위해.
• 볼록 최소화 문제에서 최적의 O(1/t²) 수렴 속도와 이산 알고리즘에서의 O(1/n²) 복잡도를 달성하기 위해.
• 오차 유계 조건 하에서 전역 수렴성과 초선형 수렴성을 확립하기 위해.

제안 방법

• 이 방법은 $\dot{x}(t) + x(t) - (I + \lambda(t)A)^{-1}x(t) = 0$ 로 제어되는 이阶 동적 시스템을 사용하며, 여기서 $A$ 는 최대 단조 연산자이다.
• 매개변수 $\lambda(t)$ 는 $\lambda(t)\| (I + \lambda(t)A)^{-1}x(t) - x(t) \| = \theta$ 의 피드백 루프 조건을 통해 동적으로 조절되며, $\theta > 0$ 은 고정된 값이다.
• 이 시스템은 $t \to \infty$ 일 때 $\lambda(t) \to \infty$ 가 되도록 보장하여, 문제 매개변수의 사전 지식 없이도 빠른 수렴을 가능하게 한다.
• 연속 시스템의 시간 이산화를 통해 상대 오차 허용 범위와 큰 스텝 조건을 갖는 새로운 프록시멀 유사 알고리즘이 도출된다.
• 이 방법은 정규화된 뉴턴 역학과 연결되며, $\lambda(t) \to \infty$ 는 정규화의 소멸을 의미하여 수렴 속도를 향상시킨다.
• 하위미분 연산자 $A = \partial f$ 인 경우, $f(x(t)) - \inf f \leq C_1 / (1 + C_2 t)^2$ 를 확보한다.

실험 결과

연구 질문

• RQ1 피드백 루프 방식으로 정규화 매개변수 $\lambda(t)$ 가 자동으로 무한대가 되도록 하는 동적 시스템을 설계할 수 있는가? 이는 단조 포함 문제의 수렴 가속화에 기여하는가?
• RQ2 수득된 연속 궤적 $x(t)$ 는 어떤 수렴 성질을 보이며, 특히 수렴 속도와 약수렴/강수렴 여부는 어떻게 되는가?
• RQ3 연속 역학을 이산화하여 볼록 최소화 문제에서 $\mathcal{O}(1/n^2)$ 복잡도를 갖는 알고리즘으로 변환할 수 있는가?
• RQ4 어떤 조건에서 이 방법이 초선형 수렴을 달성하며, 오차 유계 조건은 수렴 속도에 어떤 영향을 미치는가?
• RQ5 기본 프록시멀 및 뉴턴 유사 방법과 비교할 때, 제안된 방법은 수렴 속도와 안정성 측면에서 어떻게 다른가?

주요 결과

• 연속 동적 시스템(LSP)은 임의의 초기값 $x_0 \notin A^{-1}(0)$ 에 대해 유일한 강한 전역 해를 가지며, $t \to \infty$ 일 때 $\lambda(t)$ 는 무한대로 증가한다.
• 해 $x(t)$ 는 $A^{-1}(0)$ 내의 해로의 약수렴이 보장되며, 추가적인 정규성 조건 하에서는 강수렴이 성립한다.
• $A = \partial f$ 인 경우, 목적 함수는 $f(x(t)) - \inf f \leq C_1 / (1 + C_2 t)^2$ 를 만족하여 $\mathcal{O}(1/t^2)$ 수렴이 증명된다.
• 시간 이산화된 알고리즘은 빠른 수렴 특성을 그대로 이어받으며, 일반적인 볼록 최소화 문제에서 $\mathcal{O}(1/n^2)$ 복잡도를 달성한다.
• 오차 유계 조건 하에서 이 방법은 초선형 수렴을 보이며, $\|x(t) - x_*\| \to 0$ 이 임의의 다항식 수렴 속도를 초월한다.
• 정규 경우, 관련된 프록시멀-뉴턴 방법은 전역 2차 수렴을 달성한다.