[논문 리뷰] On the Quadratic Convergence of the Cubic Regularization Method under a Local Error Bound Condition

Man–Chung Yue, Zirui Zhou외 1명|arXiv (Cornell University)|2018. 01. 29.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 3

한 줄 요약

이 논문은 고전적인 비퇴화 조건보다 훨씬 약한 국소 오차 bound(EB) 조건 하에서 삼차 정규화(CR) 방법의 Q-이차 수렴성을 확립한다. 저자들은 EB 조건을 활용하여, 퇠퇴성, 비고립 최소점 설정에서도 CR 방법이 이차 수렴성을 보임을 증명하며, 이 조건이 볼록성 가정 없이도 이차 성장 조건과 동치임을 추가로 보여준다.

ABSTRACT

In this paper we consider the cubic regularization (CR) method for minimizing a twice continuously differentiable function. While the CR method is widely recognized as a globally convergent variant of Newton's method with superior iteration complexity, existing results on its local quadratic convergence require a stringent non-degeneracy condition. We prove that under a local error bound (EB) condition, which is much weaker a requirement than the existing non-degeneracy condition, the sequence of iterates generated by the CR method converges at least Q-quadratically to a second-order critical point. This indicates that adding a cubic regularization not only equips Newton's method with remarkable global convergence properties but also enables it to converge quadratically even in the presence of degenerate solutions. As a byproduct, we show that without assuming convexity, the proposed EB condition is equivalent to a quadratic growth condition, which could be of independent interest. To demonstrate the usefulness and relevance of our convergence analysis, we focus on two concrete nonconvex optimization problems that arise in phase retrieval and low-rank matrix recovery, respectively, and prove that with overwhelming probability, the sequence of iterates generated by the CR method for solving these two problems converges at least Q-quadratically to a global minimizer. We also present numerical results of the CR method when applied to solve these two problems to support and complement our theoretical development.

연구 동기 및 목표

• 표준 비퇴화 가정보다 더 약한 조건 하에서 삼차 정규화(CR) 방법의 국소 이차 수렴성을 확립하기 위해.
• 위상 복원 및 저질서 행렬 복원과 같은 비볼록 문제에서 흔한 비고립 최소점이 존재할 경우 CR 방법의 수렴 행동을 분석하기 위해.
• 제안된 국소 오차 bound(EB) 조건이 볼록성 가정 없이도 이차 성장 조건과 동치임을 보여주기 위해, 이는 별도의 관심사가 있는 결과이다.
• 위상 복원 및 저질서 행렬 복원 문제에 대한 수치 실험을 통해 이론적 결과를 검증하기 위해.
• 두 구체적인 비볼록 최적화 문제에서, 높은 확률로 CR 방법이 전역 최소점으로 Q-이차로 수렴함을 보여주기 위해.

제안 방법

• 저자들은 제2차 임계점 근처의 목적 함수의 국소 기하학을 기술하는 국소 오차 bound(EB) 조건을 도입한다.
• 이 EB 조건 하에서, CR 방법이 생성하는 반복값 수열이 제2차 임계점으로서 최소한 Q-이차로 수렴함을 증명한다.
• 분석은 CR 반복값의 임의의 수렴점이 제2차 임계점임을 보장하는 이 방법의 핵심적인 구조적 성질에 기반한다.
• 저자들은 비볼록 설정에서 제안된 EB 조건과 이차 성장 조건 사이의 동치성을 확립하며, 볼록성 가정 없이도 성립함을 보여준다.
• 표준 랜덤 모델 가정 하에서 EB 조건이 높은 확률로 성립함을 보여줌으로써, 이 이론을 두 비볼록 문제—위상 복원 및 저질서 행렬 복원—에 적용한다.
• 수치 실험은 적응형 정규화를 사용한 알고리즘 1(CR 방법)을 활용하며, 수렴은 상대 오차(RE)를 통해 모니터링되고, RE < 10⁻⁸일 때 종료된다.

실험 결과

연구 질문

• RQ1 삼차 정규화 방법은 표준 비퇴화 가정보다 더 약한 조건 하에서도 Q-이차 수렴성을 달성할 수 있는가?
• RQ2 비볼록 최적화에서 볼록성 가정 없이 국소 오차 bound(EB) 조건이 이차 성장 조건과 동치인가?
• RQ3 표준 랜덤 모델 가정 하에서, 위상 복원 및 저질서 행렬 복원과 같은 비볼록 문제에서 CR 방법이 전역 최소점으로 Q-이차로 수렴하는가?
• RQ4 이러한 비볼록 문제에 대해 CR 방법의 수렴 행동은 실질적으로 어떻게 나타나며, 이론적 예측과 일치하는가?
• RQ5 헤시안 행렬이 퇠퇴성하거나 최소점이 비고립일 경우에도 CR 방법은 여전히 빠른 국소 수렴을 유지할 수 있는가?

주요 결과

• CR 방법은 비퇴화 조건보다 엄격히 더 약한 국소 오차 bound(EB) 조건 하에서 제2차 임계점으로서 최소한 Q-이차로 수렴한다.
• 비볼록 설정에서 EB 조건은 이차 성장 조건과 동치이며, 이 결과는 볼록성 가정 없이도 성립한다.
• 위상 복원 문제에서는, 높은 확률로 CR 방법이 생성하는 반복값 수열이 전역 최소점으로 Q-이차로 수렴한다.
• 저질서 행렬 복원 문제에서는 동일한 확률 모델 하에서, CR 방법 역시 전역 최소점으로 Q-이차로 수렴한다.
• 수치 결과는 이론적 수렴 속도를 확인한다: 상대 오차(RE)는 최종 반복 단계에서 초선형적으로 감소하며, 최소한 이차 수렴임을 나타낸다.
• 해결 시간은 문제 크기에 따라 합리적으로 증가하며, 위상 복원 문제의 경우 n=64일 때 4.7초, n=128일 때 12.3초, n=256일 때 129.6초, n=512일 때 577.6초이며, 더 큰 저질서 복원 문제에서는 최대 5017.6초가 소요된다.