[논문 리뷰] The Complexity of Making the Gradient Small in Stochastic Convex Optimization

Dylan J. Foster, Ayush Sekhari외 4명|arXiv (Cornell University)|2019. 02. 13.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 16

한 줄 요약

이 논문은 확률적 볼록 최적화에서 $\epsilon$-정류점(\epsilon-stationary points)을 찾는 오라클 복잡도에 대해 거의 날카로운 상한과 하한을 확립하며, 국소적 스토하스틱 오라클 모델과 전역적 통계학습 모델 간의 차이를 구분한다. 이는 매끄러움(smoothness)이 각 모델에서 복잡도에 다르게 영향을 미친다는 것을 드러내며, 전역 학습에서는 로그적 의존성, 국소 오라클에서는 다항식 의존성이 있음을 보여주고, 복잡도 간에 지수적 분리(exponential separation)를 강조하여, 정류점을 찾는 데 매끄러움이 필수적이라는 통념(folklore)을 도전한다.

ABSTRACT

We give nearly matching upper and lower bounds on the oracle complexity of finding $ε$-stationary points ($\| abla F(x) \| \leqε$) in stochastic convex optimization. We jointly analyze the oracle complexity in both the local stochastic oracle model and the global oracle (or, statistical learning) model. This allows us to decompose the complexity of finding near-stationary points into optimization complexity and sample complexity, and reveals some surprising differences between the complexity of stochastic optimization versus learning. Notably, we show that in the global oracle/statistical learning model, only logarithmic dependence on smoothness is required to find a near-stationary point, whereas polynomial dependence on smoothness is necessary in the local stochastic oracle model. In other words, the separation in complexity between the two models can be exponential, and that the folklore understanding that smoothness is required to find stationary points is only weakly true for statistical learning. Our upper bounds are based on extensions of a recent "recursive regularization" technique proposed by Allen-Zhu (2018). We show how to extend the technique to achieve near-optimal rates, and in particular show how to leverage the extra information available in the global oracle model. Our algorithm for the global model can be implemented efficiently through finite sum methods, and suggests an interesting new computational-statistical tradeoff.

연구 동기 및 목표

• 확률적 볼록 최적화에서 $\epsilon$-정류점(\epsilon-stationary points)을 찾는 오라클 복잡도에 대한 이해 격차를 메우기 위해.
• 복잡도를 최적화(국소 오라클)와 샘플(전역 오라클) 성분으로 분해하기 위해.
• 스토하스틱 환경에서 근처 정류점을 찾는 데 있어 매끄러움이 본질적으로 필요한지 명확히 하기 위해.
• 국소 스토하스틱 오라클 및 전역 통계학습 오라클 모델에 대해 거의 날카로운 상한과 하한을 확립하기 위해.
• 새로운 알고리즘 프레임워크에 의해 드러나는 계산-통계적 트레이드오프를 탐구하기 위해.

제안 방법

• 앨런-즈위(Allen-Zhu, 2018)의 기법을 확장한 재귀적 정규화 기법을 제안하여, 확률적 볼록 최적화에서 거의 최적의 성능를 달성한다.
• 근사 정류점 문제를 노이즈가 있는 이진 탐색(Noisy Binary Search, NBS) 문제로의 감소를 도입하여 하한을 유도한다.
• 기울기가 $H$-립시츠이고 분산이 $\sigma^2$로 유계인 볼록 함수를 구성하여, 기울기가 오직 NBS 해에 해당하는 좁은 간격에서만 작아지도록 한다.
• 구성된 함수의 기대 도함수를 사용하여, $|F'(x)| \leq \epsilon$이 성립하는 것은 진짜 중앙값 $j^*$를 포함하는 간격 안에서만 성립하도록 보장한다.
• 최대 두 개의 NBS 행렬 원소를 사용하여 국소 스토하스틱 오라클 쿼리를 시뮬레이션함으로써, 최적화 문제를 NBS 문제로의 감소를 가능하게 하며, 소량의 쿼리 오버헤드를 갖는다.
• 기존의 NBS 하한을 응용하여, $\epsilon$-정류점을 찾기 위해 필요한 오라클 호출 수에 대한 날카로운 하한을 도출한다.

실험 결과

연구 질문

• RQ1 국소 스토하스틱 오라클 모델과 전역 통계학습 모델 하에서, 확률적 볼록 최적화에서 $\epsilon$-정류점(\epsilon-stationary points)을 찾는 데 있어 최적의 오라클 복잡도는 무엇인가?
• RQ2 국소 스토하스틱 오라클 모델과 전역 오라클 모델 간에 매끄러움 $H$에 대한 의존성은 어떻게 다를까?
• RQ3 통계학습의 맥락에서 정류점을 찾는 데 있어 매끄러움이 필수적이라는 통념(folklore)은 정확한가?
• RQ4 전역 오라클 모델이 집합 데이터에 접근할 수 있기 때문에 국소 오라클 모델보다 훨씬 더 낮은 복잡도를 달성할 수 있는가?
• RQ5 재귀적 정규화를 기반으로 한 새로운 알고리즘 프레임워크에 의해 드러나는 계산-통계적 트레이드오프는 무엇인가?

주요 결과

• 국소 스토하스틱 오라클 복잡도는 $\tilde{\Omega}\left(\sqrt{\frac{HR}{\epsilon}} + \frac{\sigma^2}{\epsilon^2}\right)$이며, 로그 인자 외에는 상한과 일치한다.
• 전역 오라클(통계학습) 복잡도는 $\tilde{\Omega}\left(\frac{\sigma^2}{\epsilon^2}\log\left(\frac{HR}{\epsilon}\right)\right)$이며, 매끄러움 $H$에 대해 오직 로그적 의존성만 갖는다.
• 반대로, 국소 스토하스틱 오라클 모델은 $H$에 대해 다항식 의존성을 요구하여, 두 모델 간에 복잡도에서 지수적 분리가 발생한다.
• 전역 모델의 하한은 노이즈가 있는 이진 탐색(NBS) 문제로의 감소를 통해 유도되며, $\Omega\left(\frac{\sigma^2}{\epsilon^2}\log\left(\frac{HR}{\epsilon}\right)\right)$개의 샘플이 필요하다는 것을 보여준다.
• 전역 모델의 알고리즘은 유한합 방법을 사용해 효율적으로 구현 가능하므로, 새로운 계산-통계적 트레이드오프를 시사한다.
• 결과적으로, 통계학습 환경에서는 정류점을 찾는 데 있어 매끄러움이 필요하다는 요구는 오직 약하게 참이 되며, $H$에 대해 로그적 의존성만으로도 충분하다.