[논문 리뷰] Cubic Regularization with Momentum for Nonconvex Optimization

Zhe Wang, Yi Zhou외 2명|arXiv (Cornell University)|2018. 10. 09.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 9

한 줄 요약

이 논문은 비볼록 최적화를 위한 모멘텀 가속 입사 제약 뉴턴 방법인 CRm을 제안하며, 이는 제2차 정류점으로의 최적 수렴 속도를 달성한다. 모멘텀을 입사 제약 프레임워크에 통합함으로써 실사용에서 수렴 속도를 가속화하고, 오차 유계 조건 하에서 국소 2차 수렴을 달성하여 실험적으로 네스테로프의 가속화보다 뛰어난 성능을 보인다.

ABSTRACT

Momentum is a popular technique to accelerate the convergence in practical training, and its impact on convergence guarantee has been well-studied for first-order algorithms. However, such a successful acceleration technique has not yet been proposed for second-order algorithms in nonconvex optimization.In this paper, we apply the momentum scheme to cubic regularized (CR) Newton's method and explore the potential for acceleration. Our numerical experiments on various nonconvex optimization problems demonstrate that the momentum scheme can substantially facilitate the convergence of cubic regularization, and perform even better than the Nesterov's acceleration scheme for CR. Theoretically, we prove that CR under momentum achieves the best possible convergence rate to a second-order stationary point for nonconvex optimization. Moreover, we study the proposed algorithm for solving problems satisfying an error bound condition and establish a local quadratic convergence rate. Then, particularly for finite-sum problems, we show that the proposed algorithm can allow computational inexactness that reduces the overall sample complexity without degrading the convergence rate.

연구 동기 및 목표

• 비볼록 최적화에서 입사 제약(CR) 뉴턴 방법에 대한 모멘텀 기반 가속화 기법을 설계하기 위해.
• 제안된 방법의 제2차 정류점으로의 이론적 수렴 보장을 확립하기 위해.
• 기존의 CR 및 네스테로프의 가속화 기법보다 향상된 실사용 수렴 성능를 보여주기 위해.
• 오차 유계 조건 하에서 국소 수렴을 분석하고, 계산의 비정확성에도 불구하고 수렴 속도가 저하되지 않도록 하기 위해.

제안 방법

• 모멘텀 단계를 통합하여 수렴 속도를 가속화하는 입사 제약의 변종인 CRm을 도입한다.
• 세 단계 업데이트를 사용: 입사 하위문제 해법, 모멘텀 업데이트, 전역 수렴을 위한 단조성 선 탐색.
• 목적 함수의 충분한 감소를 보장하기 위해 단조성 조건을 갖춘 백트래킹 선 탐색을 사용한다.
• 반복점과 기울기/헤시안 노름의 행동을 분석함으로써 이론적 수렴 속도를 유도한다.
• 헤시안에 대해 오차 유계 조건이 성립할 경우 국소 2차 수렴을 확립한다.
• 비정확한 헤시안 및 기울기 계산을 분석하여, 유한합 문제에서 샘플 복잡도를 감소시키되 수렴 속도를 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 입사 제약에 모멘텀을 성공적으로 통합하여 수렴 속도를 가속화할 수 있는가?
• RQ2 제안된 모멘텀-입사 제약 방법이 제2차 정류점으로 향하는 최고의 알려진 수렴 속도를 달성하는가?
• RQ3 특히 유한합 문제에서 계산의 비정확성 하에서 알고리즘이 어떻게 작동하는가?
• RQ4 실사용 비볼록 설정에서 모멘텀 기법이 네스테로프의 가속화보다 뛰어나게 작동하는가?
• RQ5 오차 유계 조건 하에서 모멘텀-입사 제약 방법의 국소 수렴 속도는 얼마인가?

주요 결과

• CRm는 제2차 정류점으로 향하는 최적 수렴 속도인 O(1/k^{3/2})를 달성하며, 이는 비볼록 최적화에서 알려진 최고의 속도와 일치한다.
• 수치 실험 결과, CRm는 표준 CR 및 네스테로프의 가속화보다 특히 초반 반복에서 뚜렷하게 더 빠르게 수렴함을 보였다.
• 오차 유계 조건 하에서 CRm는 국소 2차 수렴을 보이며, 최적해 근처에서의 빠른 국소 행동을 나타낸다.
• 유한합 문제에서는 CRm가 비정확한 헤시안 및 기울기 계산을 허용하여 샘플 복잡도를 감소시키지만 동일한 수렴 속도를 유지한다.
• 이론적 분석을 통해 모멘텀 기법이 수렴 보장을 약화시키지 않고 제2차 정류점으로의 전역 수렴을 보장함을 확인하였다.
• 알고리즘은 유한한 반복점을 유지하며, 기울기 노름과 헤시안 최소 고유값이 모두 제2차 정류 조건를 만족하는 점으로 수렴한다.