[논문 리뷰] Escaping Saddle Points with Adaptive Gradient Methods

Matthew Staib, Sashank J. Reddi외 3명|arXiv (Cornell University)|2019. 01. 26.

Stochastic Gradient Optimization Techniques인용 수 23

한 줄 요약

이 논문은 Adam 및 RMSProp과 같은 적응형 방법을 분석하기 위해 새로운 전처리된 SGD 프레임워크를 제안한다. 이 방법들은 기울기 노이즈를 등방성으로 재스케일링함으로써 SGD보다 더 빠르게 안장점에서 벗어남을 보여준다. 이는 어떤 적응형 방법에 대해서도 두 번째 단계 수렴 보장을 처음으로 제공하며, 온라인 전처리기 추정을 통해 두 번째 단계 정류점으로의 수렴 속도 향상을 입증한다.

ABSTRACT

Adaptive methods such as Adam and RMSProp are widely used in deep learning but are not well understood. In this paper, we seek a crisp, clean and precise characterization of their behavior in nonconvex settings. To this end, we first provide a novel view of adaptive methods as preconditioned SGD, where the preconditioner is estimated in an online manner. By studying the preconditioner on its own, we elucidate its purpose: it rescales the stochastic gradient noise to be isotropic near stationary points, which helps escape saddle points. Furthermore, we show that adaptive methods can efficiently estimate the aforementioned preconditioner. By gluing together these two components, we provide the first (to our knowledge) second-order convergence result for any adaptive method. The key insight from our analysis is that, compared to SGD, adaptive methods escape saddle points faster, and can converge faster overall to second-order stationary points.

연구 동기 및 목표

• 비볼록 최적화에서 적응형 방법을 원칙적이고 청결한 방식으로 특성화하기 위해.
• 왜 적응형 방법이 SGD보다 안장점을 더 빨리 탈출하는지 설명하기 위해.
• 어떤 적응형 방법에 대해서도 두 번째 단계 수렴 결과를 확립하기 위해.
• 적응형 방법의 초파rameter(예: β)를 조정하기 위한 실용적 통찰을 제공하기 위해.
• 이론적 명료성을 위해 전처리기 설계와 온라인 추정을 분리하기 위해.

제안 방법

• 적응형 방법을 온라인 추정된 전처리기를 갖춘 전처리된 SGD로 재정의하기 위해.
• 추정 오차로부터 독립적으로 전처리기의 이상적인 행동을 분석하기 위해.
• 전처리기가 정류점 근처에서 기울기 노이즈를 등방성으로 재스케일링함으로써 더 빠른 안장점 탈출을 가능하게 함을 보여주기 위해.
• 적응형 방법이 지수 이동 평균을 사용하여 필요한 전처리기를 효율적으로 추정할 수 있음을 증명하기 위해.
• 행렬 섭동 이론을 사용하여 진정한 전처리기와 추정된 전처리기 사이의 오차를 한계화하기 위해.
• 이dealized 수렴과 추정 오차 한계를 결합하여 수렴 속도를 유도하기 위해.

실험 결과

연구 질문

• RQ1 Adam 및 RMSProp과 같은 적응형 방법은 경험적 성공을 넘어서 비볼록 최적화에서 어떻게 행동하는가?
• RQ2 이론적 과제가 있음에도 불구하고, 왜 적응형 방법은 SGD보다 안장점을 더 빨리 탈출하는가?
• RQ3 어떤 적응형 방법에 대해서도 두 번째 단계 수렴 보장을 제공할 수 있는가?
• RQ4 전처리기는 수렴 가속화와 안장점 탈출에 어떤 역할을 하는가?
• RQ5 최적 성능를 위해 지수 이동 평균 파rameter β는 어떻게 조정해야 하는가?

주요 결과

• 적응형 방법은 두 번째 단계 수렴을 달성하였으며, 이는 어떤 적응형 방법에 대해서도 최초의 결과이다.
• 적응형 방법에서 사용되는 전처리기가 정류점 근처에서 기울기 노이즈를 등방성으로 재스케일링함으로써 안장점 탈출 속도가 향상됨을 보여준다.
• 적응형 방법은 지수 이동 평균을 사용하여 필요한 전처리기를 효율적으로 추정할 수 있다.
• 분석은 Reddi 등(2018b)의 반례가 적응형 방법에 대해 어렵게 작용하는 이유를 설명한다: 이는 열악한 전처리기 추정을 악용한다.
• β 조정을 위한 원칙적인 지침을 제공하며, 수렴을 위해 T > 4/α 를 제안한다. 여기서 α 는 문제 매개변수에 따라 달라진다.
• 조건수와 관련된 요소로 수렴 속도가 향상되며, 추정 오차와 노이즈에 대한 명시적 한계가 존재한다.