[논문 리뷰] Convergence of Cubic Regularization for Nonconvex Optimization under KL Property

Yi Zhou, Zhe Wang외 1명|arXiv (Cornell University)|2018. 08. 22.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 비볼록 최적화 문제에서 쿠르다카-로자예브스키(Kurdyka-Łojasiewicz, KŁ) 성질이라는 광범위한 기하 조건 하에서 삼차 정규화(CR)의 渐近 수렴 속도를 규명한다. 이는 이전의 가정을 일반화하는 기하 조건이다. CR가 일阶 방법보다 순서적으로 빠른 수렴 속도를 보임을 보이며, KŁ 매개수 θ에 따라 수렴 속도는 초선형에서 다항선형까지 다양하게 변한다.

ABSTRACT

Cubic-regularized Newton's method (CR) is a popular algorithm that guarantees to produce a second-order stationary solution for solving nonconvex optimization problems. However, existing understandings of the convergence rate of CR are conditioned on special types of geometrical properties of the objective function. In this paper, we explore the asymptotic convergence rate of CR by exploiting the ubiquitous Kurdyka-Lojasiewicz (KL) property of nonconvex objective functions. In specific, we characterize the asymptotic convergence rate of various types of optimality measures for CR including function value gap, variable distance gap, gradient norm and least eigenvalue of the Hessian matrix. Our results fully characterize the diverse convergence behaviors of these optimality measures in the full parameter regime of the KL property. Moreover, we show that the obtained asymptotic convergence rates of CR are order-wise faster than those of first-order gradient descent algorithms under the KL property.

연구 동기 및 목표

• 일반적인 기하 조건 하에서 비볼록 최적화 문제에 대한 삼차 정규화(CR)의 수렴 행동을 이해하기 위해.
• θ로 매개수화된 쿠르다카-로자예브스키(KŁ) 성질이 CR의 수렴 속도에 어떻게 영향을 미치는지 규명하기 위해.
• 동일한 KŁ 조건 하에서 CR의 수렴 속도를 일阶 경사 하강법과 비교하기 위해.
• 특수 케이스(예: 경사 우세성 또는 오차 한계)를 넘어서 KŁ-정규 함수의 전반적인 스펙트럼에 대한 수렴 분석을 확장하기 위해.
• 정확한 및 비정확한 변형 모두에 적용 가능한, KŁ 성질을 활용한 CR 수렴 분석의 통합 프레임워크를 제공하기 위해.

제안 방법

• 비볼록 함수에 대한 통합적 기하 조건으로 쿠르다카-로자예브스키(KŁ) 성질을 활용하며, θ ∈ (0,1]로 매개수화된다.
• 기존 연구에서 θ = 1/2일 때 특수 케이스로 나타나는 국소 오차 한계를 포함하는 일반화된 KŁ-오차 한계를 유도한다.
• 두 번째 순서 정류점 집합 Ω로의 점-집합 거리 distΩ(xk)를 경계함으로써 CR의 수렴을 분석한다.
• 함수 값 갭, 변수 거리 갭, 경사 노름, 헤시안 최소 고유값 등 다양한 최적성 측정 기준의 수렴 속도를 확립한다.
• KŁ-오차 한계를 활용해 θ의 값에 따라 수렴 속도 영역을 유도하며, 유한 수렴, 초선형 수렴, 선형 수렴 또는 다항선형 수렴을 보임을 보인다.
• 안정성 논증을 통해 비정확-CR 변형에 응용하며, 부분 표본 추출 기반의 근사에서도 동일한 수렴 속도가 유지됨을 보인다.

실험 결과

연구 질문

• RQ1 쿠르다카-로자예브스키(KŁ) 성질은 비볼록 최적화 문제에서 삼차 정규화(CR)의 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 KŁ 매개수 θ의 다양한 값에 따라 CR의 수렴 행동 스펙트럼은 어떻게 변화하는가?
• RQ3 동일한 KŁ 조건 하에서 CR의 수렴 속도는 일阶 경사 하강법과 비교해 어떻게 다른가?
• RQ4 KŁ 성질을 활용해 이전의 더 강한 가정(예: 경사 우세성 또는 국소 오차 한계)에 기반한 수렴 결과를 일반화할 수 있는가?
• RQ5 비정확한 CR 변형은 KŁ 성질 하에서 확립된 수렴 속도를 어느 정도 유지하는가?

주요 결과

• CR의 반복점이 두 번째 순서 정류점 집합으로 수렴하는 속도는 KŁ 매개수 θ에 따라 결정되며, θ = 1일 경우 유한 수렴이 발생한다.
• θ ∈ (1/3, 1)일 경우, 해 집합으로의 거리는 초선형적으로 감소하며, 큰 k에 대해 exp(−(2θ/(1−θ))^k)로 경계된다.
• θ = 1/3일 경우, 수렴은 선형이며, distΩ(xk) ≤ Θ(exp(−(k−k₀)))로 표현되어 지수 감소를 나타낸다.
• θ ∈ (0, 1/3)일 경우, 수렴은 다항선형이며, distΩ(xk) ≤ Θ((k−k₀)^{−2θ/(1−3θ})), 다항 감소를 보인다.
• 동일한 KŁ 성질 하에서 CR의 수렴 속도는 일阶 경사 하강법보다 순서적으로 더 빠르며, 특히 초선형 및 유한 수렴의 경우 두드러진다.
• 부분 표본 추출 기반의 비정확-CR 알고리즘으로도 결과가 확장되며, 이러한 근사 하에서 수렴 역학이 안정성을 유지함을 보였다.