[논문 리뷰] PAGE: A Simple and Optimal Probabilistic Gradient Estimator for Nonconvex Optimization

Zhize Li, Hongyan Bao외 2명|arXiv (Cornell University)|2020. 08. 25.

Stochastic Gradient Optimization Techniques참고 문헌 50인용 수 22

한 줄 요약

이 논문은 비볼록 최적화를 위한 새로운 확률적 기울기 추정기인 PAGE를 소개한다. 이는 일반적인 SGD와 기울기 재사용을 조합하여 최적의 수렴 속도를 달성한다. PAGE는 유한합 및 온라인 비볼록 문제에 대해 알려진 가장 날카로운 하한선을 충족하며, 각각 $O(n + \frac{\sqrt{n}}{\epsilon^2})$ 및 $O(b + \frac{\sqrt{b}}{\epsilon^2})$의 기울기 복잡도를 달성한다. 또한 Polyak-Łojasiewicz 조건 하에서 자동 가속화가 가능하다.

ABSTRACT

In this paper, we propose a novel stochastic gradient estimator -- ProbAbilistic Gradient Estimator (PAGE) -- for nonconvex optimization. PAGE is easy to implement as it is designed via a small adjustment to vanilla SGD: in each iteration, PAGE uses the vanilla minibatch SGD update with probability $p_t$ or reuses the previous gradient with a small adjustment, at a much lower computational cost, with probability $1-p_t$. We give a simple formula for the optimal choice of $p_t$. Moreover, we prove the first tight lower bound $Ω(n+\frac{\sqrt{n}}{ε^2})$ for nonconvex finite-sum problems, which also leads to a tight lower bound $Ω(b+\frac{\sqrt{b}}{ε^2})$ for nonconvex online problems, where $b:= \min\{\frac{σ^2}{ε^2}, n\}$. Then, we show that PAGE obtains the optimal convergence results $O(n+\frac{\sqrt{n}}{ε^2})$ (finite-sum) and $O(b+\frac{\sqrt{b}}{ε^2})$ (online) matching our lower bounds for both nonconvex finite-sum and online problems. Besides, we also show that for nonconvex functions satisfying the Polyak-Łojasiewicz (PL) condition, PAGE can automatically switch to a faster linear convergence rate $O(\cdot\log \frac{1}ε)$. Finally, we conduct several deep learning experiments (e.g., LeNet, VGG, ResNet) on real datasets in PyTorch showing that PAGE not only converges much faster than SGD in training but also achieves the higher test accuracy, validating the optimal theoretical results and confirming the practical superiority of PAGE.

연구 동기 및 목표

• 비볼록 유한합 및 온라인 최적화 문제에 대한 최적 기울기 복잡도의 격차를 해소하기 위해.
• 이론적·실제적으로 기존 방법을 능가하는 단순하면서도 최적의 확률적 기울기 추정기를 설계하기 위해.
• 비볼록 유한합 및 온라인 문제에 대한 날카로운 하한선을 설정하여 제안된 방법의 최적성을 입증하기 위해.
• 조건에 대한 사전 지식이 필요 없이 Polyak-Łojasiewicz(PL) 조건 하에서 자동으로 가속화를 가능하게 하기 위해.
• 실제 세계 데이터셋을 활용한 광범위한 딥러닝 실험을 통해 PAGE의 이론적 이점을 검증하기 위해.

제안 방법

• PAGE는 확률적 스위치를 사용한다: 확률 $p_t$ 에서는 일반적인 미니배치 SGD를 적용하고, 확률 $1-p_t$ 에서는 이전 기울기를 약간 조정하여 재사용한다.
• 최적의 $p_t$ 는 $p_t = \frac{b'}{b + b'}$ 로 유도되며, 여기서 $b$ 는 미니배치 크기이고 $b'$ 는 보조 미니배치 크기이다.
• 수렴성을 증명하기 위해 리아푸노프 함수 분석을 활용하며, 기울기 재사용을 통한 분산 감소를 통합한다.
• 기울기 재사용과 분산 제어를 연결하는 새로운 분석 프레임워크를 도입하여 날카로운 수렴 한계를 가능하게 한다.
• 알고리즘은 SGD와의 후행 호환성을 고려하여 설계되었으며, 표준 학습 루프에 대한 소규모 수정만 필요하다.
• PL-정규화된 문제에 대해서는, 파rameter 조정 없이도 자동으로 선형 수렴 속도로 전환한다.

실험 결과

연구 질문

• RQ1 비볼록 유한합 최적화 문제에서 기울기 복잡도에 대한 가장 날카로운 하한선은 무엇인가?
• RQ2 복잡한 분산 감소 메커니즘 없이도 단순한 기울기 추정기가 최적의 수렴 속도를 달성할 수 있는가?
• RQ3 기울기 재사용과 신선한 기울기 계산을 어떻게 최적의 균형으로 조합하여 계산 비용을 최소화할 수 있는가?
• RQ4 제안된 방법은 조건에 대한 명시적 지식 없이도 Polyak-Łojasiewicz 조건 하에서 선형 수렴을 달성하는가?
• RQ5 이론적 최적성은 실질적인 딥러닝 환경에서 검증될 수 있는가?

주요 결과

• 논문은 비볼록 유한합 문제에 대해 $\Omega(n + \frac{\sqrt{n}}{\epsilon^2})$ 의 날카로운 하한선을 확립하였으며, 이는 PAGE가 달성한 상한선과 일치한다.
• 온라인 비볼록 문제의 경우 하한선은 $\Omega(b + \frac{\sqrt{b}}{\epsilon^2})$ 이며, 여기서 $b = \min\{\frac{\sigma^2}{\epsilon^2}, n\}$ 이며, PAGE는 이 하한선을 충족한다.
• PAGE는 유한합 문제에 대해 최적 기울기 복잡도 $O(n + \frac{\sqrt{n}}{\epsilon^2})$ 와 온라인 문제에 대해 $O(b + \frac{\sqrt{b}}{\epsilon^2})$ 를 달성한다.
• Polyak-Łojasiewicz(PL) 조건 하에서, PAGE는 조건에 대한 사전 지식 없이도 선형 수렴 속도 $O(\cdot \log \frac{1}{\epsilon})$ 를 달성한다.
• LeNet, VGG, ResNet에서의 딥러닝 실험에서, PAGE는 다양한 실세계 데이터셋에서 SGD보다 더 빠르게 수렴하고 더 높은 테스트 정확도를 달성하였다.
• PL 조건 하에서 PAGE의 기울기 복잡도는 $O((b + \sqrt{b}\kappa)\log \frac{1}{\epsilon})$ 이며, 유리한 환경에서의 효율성을 확인한다.