[논문 리뷰] Lower Bounds for Non-Convex Stochastic Optimization

Yossi Arjevani, Yair Carmon외 4명|arXiv (Cornell University)|2019. 12. 05.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 $\epsilon$-정류점(\epsilon$-stationary points)을 비볼록 스토하스틱 최적화에서 제1차 방법(first-order methods)을 사용해 찾는 데 필요한 복잡도에 대한 날카운 하한(lower bounds)을 확립한다. 일반 설정에서는 확률적 경사하강법(Stochastic Gradient Descent, SGD)이 $\epsilon^{-4}$ 쿼리 복잡도로 최대최소 최적(minimax optimal)이며, 평균 제곱 평탄성(mean-squared smoothness) 하에서는 SPIDER 및 SNVRG와 같은 분산 감소 기법(variance-reduction methods)이 $\epsilon^{-3}$ 복잡도를 달성하여 최적임을 증명한다.

ABSTRACT

We lower bound the complexity of finding $ε$-stationary points (with gradient norm at most $ε$) using stochastic first-order methods. In a well-studied model where algorithms access smooth, potentially non-convex functions through queries to an unbiased stochastic gradient oracle with bounded variance, we prove that (in the worst case) any algorithm requires at least $ε^{-4}$ queries to find an $ε$ stationary point. The lower bound is tight, and establishes that stochastic gradient descent is minimax optimal in this model. In a more restrictive model where the noisy gradient estimates satisfy a mean-squared smoothness property, we prove a lower bound of $ε^{-3}$ queries, establishing the optimality of recently proposed variance reduction techniques.

연구 동기 및 목표

• 비볼록 스토하스틱 최적화에서 $\epsilon$-정류점(\epsilon$-stationary points)을 찾는 데 필요한 복잡도의 기본 한계를 규명하는 것.
• 확률적 경사하강법(Stochastic Gradient Descent, SGD)과 분산 감소 기법이 쿼리 복잡도 측면에서 최적인지 여부를 규명하는 것.
• 특히 평균 제곱 평탄성의 추가 구조적 가정이 알고리즘 복잡도에 미치는 영향을 분석하는 것.
• 활성 오라클(active oracles)과 유한합 문제(finite-sum problems)로 하한을 확장하여 다양한 모델 간의 복잡도에 대한 강건성(robustness)을 보이는 것.
• 스토하스틱 비볼록 최적화에서 알려진 상한과 이론적 한계 사이의 격차를 메우는 것.

제안 방법

• 편향이 없는 스토하스틱 경사 오라클을 통해 분산이 유한한 부드러운 비볼록 함수 $F$ 를 액세스하는 오라클 모델을 사용한다.
• 최악의 경우 하한을 증명하기 위해 $L$-부드러움과 유한한 분산을 만족하는 $F$ 와 $g$ 의 딱딱한 인스턴스(hard instances)를 구성한다.
• 정보 이론적 접근과 확률적 쌍대화(probabilistic coupling)를 적용하여 $T$ 쿼리 이후의 기대 경사 노름을 제한한다.
• 적대적 행동을 시뮬레이션하기 위해 랜덤 순열과 비트 벡터를 사용한 새로운 딱딱한 함수 구성 기법을 도입한다.
• 표준 오라클과 활성 오라클 모두에 대한 하한을 유도하며, 유한합 최소화 설정까지 포함한다.
• 대칭성과 순열 불변성(permutation invariance)을 이용하여 성과 향상 가능성을 제한함으로써 날카운 복잡도 하한을 도출한다.

실험 결과

연구 질문

• RQ1 비볼록 스토하스틱 최적화에서 $\epsilon$-정류점(\epsilon$-stationary point)을 찾기 위해 필요한 최소한의 스토하스틱 경사 쿼리 수는 얼마인가?
• RQ2 편향이 없는 분산 조건 하에서 일반 비볼록 설정에서 확률적 경사하강법(Stochastic Gradient Descent, SGD)이 최대최소 최적(minimax optimal)인가?
• RQ3 더 강한 가정 하에서 분산 감소 기법이 $\epsilon^{-4}$ 이하의 쿼리 복잡도를 달성할 수 있는가?
• RQ4 경사 추정기의 평균 제곱 평탄성 성질이 향상된 수렴 속도를 가능하게 하는가?
• RQ5 더 제한적인 오라클 모델, 예를 들어 활성 오라클이나 유한합 오라클 하에서도 하한이 유지되는가?

주요 결과

• 편향이 없는 분산 조건 하에서 일반적인 스토하스틱 제1차 모델에서는 임의의 랜덤 알고리즘이 $\Omega(\Delta L \sigma^2 \epsilon^{-4})$ 쿼리 이상이 필요로 한다.
• $\epsilon^{-4}$ 하한은 날카로우며, 이는 SGD 가 이 설정에서 최대최소 최적임을 증명한다.
• 평균 제곱 평탄성 가정 하에서는 하한이 $\Omega(\Delta \bar{L} \sigma \epsilon^{-3} + \sigma^2 \epsilon^{-2})$ 로 증가하며, 이는 SPIDER 및 SNVRG 의 복잡도와 일치한다.
• 모든 수의 동시 쿼리 수 $K$ 에 대해 하한이 유지되며, 차원 $d$ 는 $K$ 와 $\epsilon^{-1}$ 에 대해 다항적으로 증가한다.
• 결과는 활성 오라클과 유한합 문제로까지 확장되며, 다양한 오라클 모델 간의 복잡도 하한이 강건함을 보여준다.
• 경사 추정기가 $g(x,z) = \nabla_x f(x,z)$ 의 형태일 경우에도 하한은 날카롭게 유지되며, 이는 기계학습에서의 경험 리스크 최소화(empirical risk minimization)를 포함한다.