[논문 리뷰] Regularized Newton Method with Global $O(1/k^2)$ Convergence

Konstantin Mishchenko|arXiv (Cornell University)|2021. 12. 03.

Iterative Methods for Nonlinear Equations인용 수 5

한 줄 요약

이 논문은 쌍곡선 정규화와 적응형 레벤버그–마르카르트 유형의 페널티를 조합하여, 리프시츠 조건을 만족하는 헤시안을 가진 볼록 목적함수에 대해 전역적으로 O(1/k²) 수렴 속도를 달성하는 정규화된 뉴턴 방법을 제안한다. 이 방법은 임의의 초기화로부터도 빠르고 안정적인 수렴을 보장하면서도 각 반복마다 단일 선형 시스템 해를 풀기만 하여 계산 비용을 낮추며, 강한 볼록성 조건 하에서는 초선형 국소 수렴을 나타낸다.

ABSTRACT

We present a Newton-type method that converges fast from any initialization and for arbitrary convex objectives with Lipschitz Hessians. We achieve this by merging the ideas of cubic regularization with a certain adaptive Levenberg--Marquardt penalty. In particular, we show that the iterates given by $x^{k+1}=x^k - \bigl( abla^2 f(x^k) + \sqrt{H\| abla f(x^k)\|} \mathbf{I}\bigr)^{-1} abla f(x^k)$, where $H>0$ is a constant, converge globally with a $\mathcal{O}(\frac{1}{k^2})$ rate. Our method is the first variant of Newton's method that has both cheap iterations and provably fast global convergence. Moreover, we prove that locally our method converges superlinearly when the objective is strongly convex. To boost the method's performance, we present a line search procedure that does not need prior knowledge of $H$ and is provably efficient.

연구 동기 및 목표

• 비용이 많이 들지 않는 보조 문제 해법이나 선형 탐색을 요구하지 않으면서도 빠른 수렴 속도를 유지하는 전역 수렴 가능한 뉴턴 유형의 방법을 개발하는 것.
• 기존 뉴턴 방법은 국소 수렴 속도는 매우 빠르지만 나쁜 초기화로부터는 수렴하지 못하는 불안정성 문제를 해결하는 것.
• 쌍곡선 정규화와 레벤버그–마르카르트 정규화의 장점을 융합하여 전역 수렴성과 효율적인 반복을 동시에 확보하는 것.
• 헤시안 리프시츠 상수 H에 대한 사전 지식이 없이도 조정 가능한 선형 탐색을 설계하는 것.
• 이 방법이 O(1/k²) 전역 수렴과 초선형 국소 수렴을 달성함으로써, 쌍곡선 뉴턴의 최고 성능 수렴률을 따라가면서도 계산적으로 더 단순한지 확인하는 것.

제안 방법

• 이 방법은 $ x^{k+1} = x^k - \left( \nabla^2 f(x^k) + \sqrt{H \| \nabla f(x^k) \|} \, \mathbf{I} \right)^{-1} \nabla f(x^k) $ 라는 업데이트 규칙을 사용하며, 여기서 $ H > 0 $ 는 헤시안 리프시츠 상수를 상한으로 가지는 상수이다.
• 쌍곡선 정규화 이론과 적응형 레벤버그–마르카르트 유형의 정규화를 융합하여 헤시안 근사의 안정성과 조건수 개선을 도모한다.
• 정규화 항 $ \sqrt{H \| \nabla f(x^k) \|} \, \mathbf{I} $ 는 기울기 노름에 따라 동적으로 스케일링되어 강건성과 전역 수렴성을 보장한다.
• H에 대한 사전 지식이 없이도 단계 크기를 조정할 수 있는 적응형 선형 탐색을 도입하여 실용적 성능을 향상시켰다.
• 비용이 많이 드는 보조 문제 최소화를 피하기 위해 각 반복마다 단일 선형 시스템 해를 풀어 보조 문제를 효율적으로 해결하도록 설계되었다.
• 두 가지 적응형 변형(알고리즘 2와 4)을 제안하였으며, 알고리즘 2는 더 정교한 백트래킹 규칙을 사용하고, 알고리즘 4는 더 단순한 히우리스틱을 사용한다.

실험 결과

연구 질문

• RQ1 비용이 저렴하고 단일 선형 시스템 해를 요구하는 반복을 통해, 선형 탐색이나 보조 문제 해법 없이도 전역적으로 O(1/k²) 수렴을 달성할 수 있는 뉴턴 유형의 방법이 존재하는가?
• RQ2 쌍곡선 정규화와 적응형 레벤버그–마르카르트 정규화를 융합하면 전역 수렴성을 유지하면서도 빠른 수렴 속도를 확보할 수 있는가?
• RQ3 헤시안 리프시츠 상수 H에 대한 사전 지식 없이도 이 방법을 H에 적응적으로 조정할 수 있으며, 전역 수렴성과 빠른 수렴 속도를 유지할 수 있는가?
• RQ4 기존의 아르미조 선형 탐색, 쌍곡선 뉴턴, ARC와 비교했을 때, 이 방법은 불량한 조건을 가진 문제에서 실제로 어떻게 성능을 발휘하는가?
• RQ5 목적함수가 강한 볼록성을 만족할 경우, 이 방법이 초선형 국소 수렴을 나타내는가?

주요 결과

• 제안된 방법은 리프시츠 조건을 만족하는 볼록 함수에 대해 전역적으로 O(1/k²) 수렴을 달성하였으며, 이는 쌍곡선 뉴턴의 최고 성능 수렴률과 일치한다.
• 쌍곡선 뉴턴와 달리 보조 문제를 풀지 않고도 단일 선형 시스템 해를 통해 반복을 유지함으로써 계산 비용을 낮춘다.
• 수치 실험 결과, 적응형 변형(알고리즘 2)이 로지스틱 회귀나 로그-합-합 문제와 같이 불량한 조건을 가진 문제에서 매우 적은 반복 수로 수렴하며, 고정된 H를 사용하는 아르미조 선형 탐색과 쌍곡선 뉴턴보다 뛰어난 성능을 보였다.
• ρ = 0.05 인 로그-합-합 문제에서는 아르미조 선형 탐색이 불량한 조건으로 인해 실패했지만, 오직 알고리즘 2, 알고리즘 4, ARC만 수렴했다.
• 목적함수가 강한 볼록성을 만족할 경우, 이 방법은 초선형 국소 수렴을 나타내어 국소 효율성도 확인하였다.
• 적응형 선형 탐색 절차는 H에 대한 사전 지식이 없이도 효과적으로 작동하며, 실용 문제에서 수렴 속도를 향상시켰다.