[논문 리뷰] Behavior of Accelerated Gradient Methods Near Critical Points of Nonconvex Problems

Michael O’Neill, Stephen J. Wright|arXiv (Cornell University)|2017. 06. 24.

Advanced Optimization Algorithms Research인용 수 8

한 줄 요약

이 논문은 비볼록 최적화에서 엄격한 안장점 근처에서 가속 경사 하강법을 분석하며, 안정 다변량 정리(Stable Manifold Theorem)를 사용하여 헤비볼 방법이 이러한 점으로 수렴하는 것을 피함을 증명한다. 또한 헤비볼 및 표준 가속 방법이 뉴턴 하강법보다 엄격한 안장점에서 더 빠르게 발산할 수 있음을 보이며, 비볼록 경관에서의 동적 불안정성을 부각시킨다.

ABSTRACT

We examine the behavior of accelerated gradient methods in smooth nonconvex unconstrained optimization, focusing in particular on their behavior near strict saddle points. Accelerated methods are iterative methods that typically step along a direction that is a linear combination of the previous step and the gradient of the function evaluated at a point at or near the current iterate. (The previous step encodes gradient information from earlier stages in the iterative process.) We show by means of the stable manifold theorem that the heavy-ball method method is unlikely to converge to strict saddle points, which are points at which the gradient of the objective is zero but the Hessian has at least one negative eigenvalue. We then examine the behavior of the heavy-ball method and other accelerated gradient methods in the vicinity of a strict saddle point of a nonconvex quadratic function, showing that both methods can diverge from this point more rapidly than the steepest-descent method.

연구 동기 및 목표

• 비볼록 최적화에서 비탈점 근처의 가속 경사 하강법의 거동을 이해하기 위해.
• 가속 방법이 엄격한 안장점으로 수렴하는지 여부를 조사하기 위해.
• 엄격한 안장점 근처에서 헤비볼 방법과 뉴턴 하강법의 역학을 비교하기 위해.
• 역학 시스템 이론을 사용하여 비볼록 비탈점 근처에서의 가속 방법의 불안정성 분석하기 위해.

제안 방법

• 헤비볼 방법이 엄격한 안장점 근처에서 수렴하는 거동를 분석하기 위해 안정 다변량 정리를 적용한다.
• 비볼록 이차 함수의 엄격한 안장점 주변에서 헤비볼 방법의 역학을 집중적으로 분석한다.
• 비탈점 주변의 선형화된 역학을 분석하여 궤적이 그 점으로 수렴하는지 여부를 판단한다.
• 헤비볼 방법의 안장점에서의 발산 속도를 뉴턴 하강법과 정량적으로 비교한다.
• 비탈점에서의 헤시안 행렬의 구조와 고유값 분포를 이론적으로 분석하여 불안정 다변량을 특성화한다.
• 연속 시간 근사와 이산 시간 반복을 사용하여 가속 방법의 궤적을 모델링한다.

실험 결과

연구 질문

• RQ1 헤비볼 방법은 비볼록 최적화에서 엄격한 안장점으로 수렴하는가?
• RQ2 엄격한 안장점 근처에서 헤비볼 방법의 발산 속도는 뉴턴 하강법보다 어떻게 다른가?
• RQ3 헤시안의 음의 고유값은 안장점 근처에서 가속 방법의 불안정성에 어떤 역할을 하는가?
• RQ4 역학 시스템 이론은 가속 방법이 엄격한 안장점을 피하는 것을 설명할 수 있는가?
• RQ5 과거 경사와 현재 경사의 선형 조합은 비볼록 비탈점에서의 탈출에 어떻게 영향을 미치는가?

주요 결과

• 안정 다변량 정리에 의해 보장되듯이, 안정 다변량의 구조로 인해 헤비볼 방법은 엄격한 안장점으로 수렴할 가능성이 낮다.
• 엄격한 안장점 근처에서 헤비볼 방법은 뉴턴 하강법보다 더 빠르게 발산한다.
• 기타 가속 경사 하강법 역시 뉴턴 하강법보다 엄격한 안장점에서 더 빠르게 발산한다.
• 헤시안에 음의 고유값이 존재함으로써, 헤비볼 업데이트에서 운동량 효과가 증폭되어 안장점 근처의 불안정성이 발생한다.
• 이론적 분석을 통해 가속 방법의 운동량 항이 음의 곡률을 가진 비볼록 비탈점에서의 탈출을 강화함을 확인한다.
• 결과적으로, 가속 방법은 불안정 다변량 방향에서의 동적 불안정성으로 인해 본질적으로 엄격한 안장점을 피하는 경향이 있다.