[논문 리뷰] A Short Note of PAGE: Optimal Convergence Rates for Nonconvex Optimization

Zhize Li|arXiv (Cornell University)|2021. 06. 17.

Machine Learning and Algorithms참고 문헌 1인용 수 5

한 줄 요약

이 논문은 비볼록 최적화를 위한 확률적 경사도 추정기(PAGE) 알고리즘의 개선된 수렴 분석을 제시한다. 최적의 매개변수 설정 하에 PAGE는 유한합 설정과 온라인 설정에서 각각 $O(n + \tilde{n}/\epsilon^2)$ 및 $O(b + \tilde{b}/\epsilon^2)$의 이론적 하한선에 도달하는 최고의 알려진 수렴 속도를 달성함을 보여준다. 분석은 확률적 경사도 재사용과 분산 감소를 균형 있게 조절함으로써 최적의 경사도 복잡도를 확립한다.

ABSTRACT

In this note, we first recall the nonconvex problem setting and introduce the optimal PAGE algorithm (Li et al., ICML'21). Then we provide a simple and clean convergence analysis of PAGE for achieving optimal convergence rates. Moreover, PAGE and its analysis can be easily adopted and generalized to other works. We hope that this note provides the insights and is helpful for future works.

연구 동기 및 목표

• 비볼록 최적화를 위한 PAGE 알고리즘에 대한 깔끔하고 단순한 수렴 분석을 제공하는 것.
• 평균 미분 가능성과 유한한 분산이라는 표준 가정 하에 PAGE가 최적의 수렴 속도를 달성함을 입증하는 것.
• 유한합 및 온라인 비볼록 최적화에 대해 알려진 이론적 하한선과 일치하는 PAGE의 경사도 복잡도를 입증하는 것.
• 향후 연구에 대한 광범위한 적용 가능성을 고려해 분석을 일반화하고 단순화하는 것.

제안 방법

• PAGE는 확률 $p_t$ 에서 새로운 미니배치 경사도를 계산하고, 확률 $1-p_t$ 에서 이전 경사도를 약간 수정한 보정 항과 함께 재사용하는 확률적 경사도 추정기를 사용한다.
• 안정성과 수렴을 보장하기 위해 단계 크기 $\eta \leq \frac{1}{L(1 + \sqrt{\frac{1-p}{pb'}})}$ 를 적용한다.
• 핵심 구성 요소로는 진전을 추적하고 기대값의 경사도 노름을 유 bounds 하기 위해 사용하는 리아푸노프 함수 $\Phi_t = f(x^t) - f^* + \frac{\eta}{2p}\|g^t - \nabla f(x^t)\|^2$ 이다.
• 유한합 설정의 경우, 평균 $L$-리프시츠 조건 하에서 경사도 추정기의 분산을 제어하기 위해 보조정리 2를 활용한다.
• 온라인 설정의 경우, 보조정리 3이 유한한 분산($\sigma^2$)을 포함하고 전체 경사도가 가용하지 않은 상황을 고려하여 분석을 확장한다.
• 출력 $\widehat{x}_T$ 는 반복 수열 $\{x^t\}_{t \in [T]}$ 에서 균일하게 샘플링되어 $\epsilon$-근사 정류점이 되도록 보장된다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 PAGE 알고리즘에 대해 깔끔하고 단순한 수렴 분석을 제공할 수 있는가?
• RQ2 PAGE는 알려진 하한선과 일치하는 최적의 수렴 속도를 달성하는가?
• RQ3 유한합 및 온라인 설정에서 PAGE의 경사도 복잡도는 $n$, $b$, $\epsilon$ 에 대해 어떻게 변화하는가?
• RQ4 최적의 수렴을 달성하기 위해 필요한 매개변수 설정(예: 단계 크기, $p_t$, 미니배치 크기)은 무엇인가?

주요 결과

• PAGE는 기대 경사도 노름 $\mathbb{E}[\|\nabla f(\widehat{x}_T)\|] \leq \epsilon$ 을 만족하는 $\epsilon$-근사 정류점을 달성한다.
• 유한합 설정에서 경사도 복잡도는 $O(n + \frac{\sqrt{n}}{\epsilon^2})$ 이며, 이는 이론적 하한선과 일치한다.
• 온라인 설정에서 경사도 복잡도는 $O(b + \frac{\sqrt{b}}{\epsilon^2})$ 이며, 이 역시 알려진 하한선과 일치한다.
• 최적의 단계 크기는 $\eta \leq \frac{1}{L(1 + \sqrt{\frac{1-p}{pb'}})}$ 이며, 이는 내림함과 분산 감소를 균형 있게 조절한다.
• 온라인 설정에서 복잡도를 최소화하기 위해 미니배치 크기 $b$ 는 $\min(\lceil \frac{2\sigma^2}{\epsilon^2} \rceil, n)$ 으로 설정된다.
• 분석 결과 $\mathbb{E}[\|\nabla f(\widehat{x}_T)\|^2] \leq \epsilon^2$ 이며, 이는 젠센의 부등식에 의해 $\mathbb{E}[\|\nabla f(\widehat{x}_T)\|] \leq \epsilon$ 이라는 것을 의미한다.