[논문 리뷰] Revisiting Superlinear Convergence of Proximal Newton-Like Methods to Degenerate Solutions

Ching-pei Lee, Stephen J. Wright|arXiv (Cornell University)|2026. 02. 11.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

논문은 퇴화된 정규화 최적화 및 일반화된 방정식에 대해 비정확 proximal-Newton-like 방법을 개발하고 Hölderian 오차 경계하에서 초선형 수렴을 입증하며, 글로벌 수렴을 보장하고 Maratos 효과를 피하는 새로운 선탐색(globalization) 전략을 도입합니다.

ABSTRACT

We describe inexact proximal Newton-like methods for solving degenerate regularized optimization problems and for the broader problem of finding a zero of a generalized equation that is the sum of a continuous map and a maximal monotone operator. Superlinear convergence for both the distance to the solution set and a certain measure of first-order optimality can be achieved under a Hölderian error bound condition, including for problems in which the continuous map is nonmonotone, with Jacobian singular at the solution and not Lipschitz. Superlinear convergence is attainable even when the Jacobian is merely uniformly continuous, relaxing the standard Lipschitz assumption to its theoretical limit. For convex regularized optimization problems, we introduce a novel globalization strategy that ensures strict objective decrease and avoids the Maratos effect, attaining local $Q$-superlinear convergence without prior knowledge of problem parameters. Unit step size acceptance in our line search strategy does not rely on continuity or even existence of the Hessian of the smooth term in the objective, making the framework compatible with other potential candidates for superlinearly convergent updates.

연구 동기 및 목표

• 퇴화된 정규화 최적화 및 일반화된 방정식을 해결하기 위한 proximal-Newton-like 방법의 동기부여와 분석.
• 비모노톤 Jacobian 또는 비 Lipschitz 매끄러운 부분에도 Hölderian 오차 경계 조건하에서 초선형 수렴을 확립.
• 폭넓은 조건 하에서 F(x)=f(x)+Ψ(x) 형태의 볼록 정규화 문제에 대한 글로벌 디센트를 보장하고 Maratos 효과를 피하는 글로벌라이제이션 전략을 개발.
• 연속성이나 해시안의 존재를 요구하지 않으면서도 단위 스텝 크기 수용을 가능하게 하여 더 넓은 적용 가능성을 허용합니다.

제안 방법

• 일반화된 방정식 (A+B)(x)=0에 대해 Newton-like 스케일링이 적용된 댐핑된 순방향-역방향 프레임워크를 연구합니다.
• 업데이트를 근사하기 위해 μ_t Id + J_t의 가변 메트릭 H_t를 사용하며, μ_t = c r(x_t)^ρ 및 J_t는 ∇A(x_t)를 근사합니다.
• Hölderian 오차 경계 dist(x,S) ≤ κ r(x)^q를 가정하고 잔여 r(x_t)와 해 집합까지의 거리의 R- 및 Q-초선형 수렴을 분석합니다.
• 수렴을 보존하면서 근사 다음 반복을 허용하는 비정확성 조건을 도입합니다.
• 정규화 최적화 F(x)=f(x)+Ψ(x)에 특화하고, 광범위한 조건에서 F의 글로벌 디센트와 단위 스텝 크기 수용을 보장하는 글로벌라이제이션 전략을 도출합니다.
• Hilbert 공간에서 일반화된 방정식 설정을 설명하고 업데이트에서 비에르하미안(Hermitian) Jacobian을 허용합니다.

실험 결과

연구 질문

• RQ1 Hölderian 오류 경계 하에서 특이적(degenerate) 설정에서 proximal-Newton-like 방법이 달성할 수 있는 수렴 속도(R- 및 Q-초선형)는 무엇인가?
• RQ2 Jacobian의 Lipschitz 연속성과 같은 매끄러움 가정이 초선형 수렴을 보존하면서 얼마나 완화될 수 있는가?
• RQ3 Hessian 연속성에 의존하지 않고도 글로벌 수렴과 Maratos 효과 제거를 보장하는 단위 스텝 크기 전략을 개발할 수 있는가?
• RQ4 볼록 정규화 최적화 및 Hilbert 공간에서의 일반화된 방정식 프레임워크에 대해 제안된 글로벌라이제이션 전략이 얼마나 성능을 발휘하는가?
• RQ5 비-Hermitian Jacobian 및 비단조로운 A에 대해서도 초선형 속도를 유지하며 이러한 결과를 확장할 수 있는가?

주요 결과

• Hölderian 오류 경계 조건하에서 잔여 및 해 집합까지의 거리 모두에 대해 R- 및 Q-초선형 수렴이 보장되며, ∇A가 특이하거나 균일하게 연속적일 때도 성립합니다.
• 해시안 연속성을 요구하지 않으면서 목적 함수의 감소와 단위 스텝 수용을 보장하는 선탑재 글로벌라이제이션 전략이 마라토스 효과를 피합니다.
• 볼록 정규화 문제의 경우 전략이 목적 값 F의 Q-초선형 수렴을 보장하고 Hölder 또는 해시안의 균일 연속성 하에서 빠른 국소 수렴 속도를 달성합니다.
• 비-Hermitian Jacobian을 허용하는 A+B 일반화 방정식 설정으로 프레임워크가 기존의 매끄러운 설정을 넘어 적용 범위를 확장합니다.
• R- 및 Q-초선형 수렴 발생에 대한 명시적인 매개변수 범위(p, q, ρ)를 제공하여 이전 연구를 넘어선 수렴 구간을 넓힙니다.