[논문 리뷰] An Optimal Hybrid Variance-Reduced Algorithm for Stochastic Composite Nonconvex Optimization

Deyi Liu, Lam M. Nguyen외 1명|arXiv (Cornell University)|2020. 08. 20.

Stochastic Gradient Optimization Techniques참고 문헌 7인용 수 6

한 줄 요약

이 논문은 단일 루프, 하이브리드 분산 감소 프록시멀 기울기 알고리즘을 제안하며, 스위치 복합 비볼록 최적화 문제에 대해 최적의 스위치 오라클 복잡도를 달성한다. 이 알고리즘은 반복마다 단 두 번의 스위치 기울기 평가만으로도 작동하며, 기존의 독립적인 추정기 대신 모멘타ム 기반의 SARAH 스타일 업데이트를 도입함으로써 계산 비용을 줄이고, 상수 요소를 제외한 하한 복잡도에 맞추어진다. 기울기 노름 제곱의 기대값에 대해 수렴 속도는 $ O(1/T^{2/3}) $이다.

ABSTRACT

In this note we propose a new variant of the hybrid variance-reduced proximal gradient method in [7] to solve a common stochastic composite nonconvex optimization problem under standard assumptions. We simply replace the independent unbiased estimator in our hybrid- SARAH estimator introduced in [7] by the stochastic gradient evaluated at the same sample, leading to the identical momentum-SARAH estimator introduced in [2]. This allows us to save one stochastic gradient per iteration compared to [7], and only requires two samples per iteration. Our algorithm is very simple and achieves optimal stochastic oracle complexity bound in terms of stochastic gradient evaluations (up to a constant factor). Our analysis is essentially inspired by [7], but we do not use two different step-sizes.

연구 동기 및 목표

• 복합 비볼록 문제에 대해 최적의 오라클 복잡도를 달성하는 더 단순하고 효율적인 스위치 최적화 알고리즘을 개발하기 위해.
• 이전 연구에서 요구한 세 번의 스위치 기울기 평가를 두 번으로 줄여 계산 효율성을 향상시키기 위해.
• 이전 하이브리드 방법과 비교해 별도의 감쇠 단계 크기의 필요성을 제거하여 알고리즘의 구조를 단순화하기 위해.
• 스위치 기울기 평가 수준에서 최적의 수렴 속도를 달성하고, 이론적 하한 복잡도에 상수 요소를 제외하고 일치시키기 위해.
• 유계 기울기 가정 없이도 적용 가능한 범위를 넓히기 위해, 적응형 단계 크기, 미니배치, 비미분 가능 정규화 요소 등에 대한 일반화를 가능하게 하기 위해.

제안 방법

• 기존 기울기 항과 현재 기울기 항에 동일한 샘플 $ \xi_t $ 를 사용하는 방식으로, 모멘타ム과 분산 감소를 결합한 새로운 추정기 $ v_t $ 를 제안하며, 이는 모멘타임-SARAH 추정기에서 영감을 받았다.
• 이전 하이브리드 방법과 비교해 별도의 감쇠 단계 크기의 필요성을 제거함으로써 업데이트 규칙을 단순화한 단일 루프 알고리즘을 도입한다.
• 고정 단계 크기 $ \eta $ 를 사용하는 프록시멀 기울기 단계를 적용하며, $ x_{t+1} = \mathrm{prox}_{\eta\psi}(x_t - \eta v_t) $ 로 표현되며, 정류점으로의 수렴을 보장한다.
• 초기 기울기 추정기 $ v_0 $ 를 계산하기 위해 $ \tilde{b} = \mathcal{O}(T^{1/3}) $ 의 크기를 갖는 초기 미니배치 하나만을 사용하여 초기 분산을 줄인다.
• 리아푸노프 함수를 통한 수렴 분석을 수행하고, 기울기 매핑의 기대 제곱 노름 $ \mathbb{E}[\|G_\eta(\overline{x}_T)\|^2] $ 에 대한 경계를 유도하며, 이는 정류성의 척도이다.
• 수렴과 분산 감소를 균형 있게 유지하기 위해 상수 단계 크기 $ \eta = \mathcal{O}(T^{-1/3}) $ 와 가중치 $ \beta = \mathcal{O}(T^{-2/3}) $ 를 사용한다.

실험 결과

연구 질문

• RQ1 스위치 복합 비볼록 최적화 문제에 대해 최적의 오라클 복잡도를 달성하는 더 단순하고 단일 루프의 분산 감소 알고리즘을 설계할 수 있는가?
• RQ2 수렴 속도를 유지하면서도 반복마다 스위치 기울기 평가 수를 세 번에서 두 번으로 줄일 수 있는가?
• RQ3 추정기에서 현재와 이전 기울기 항에 동일한 샘플을 사용할 경우 수렴성과 분산 감소에 어떤 영향을 미치는가?
• RQ4 별도의 감쇠 단계 크기의 필요성을 제거함으로써 알고리즘을 더 단순화할 수 있으며, 최적의 수렴을 유지할 수 있는가?
• RQ5 스위치 기울기 평가 수준에서 최적의 수렴 속도를 달성하기 위해, 초기 배치 크기, 단계 크기, 모멘타움 가중치 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 제안된 알고리즘은 기대 제곱 기울기 매핑 노름에 대해 최적의 수렴 속도 $ \mathcal{O}(T^{-2/3}) $ 를 달성하며, 상수 요소를 제외한 이론적 하한 복잡도와 일치한다.
• 스위치 오라클 복잡도는 $ \mathcal{T}_{\nabla f} = \left\lceil \frac{\Delta_0^{1/2}}{2\varepsilon} + \frac{2\Delta_0^{3/2}}{\varepsilon^3} \right\rceil $ 로 표현되며, 여기서 $ \Delta_0 = 4L[F(x_0) - F^\star] + 4\sigma^2 $ 이다. 이는 상수 요소를 제외하고 최적이다.
• 알고리즘은 반복마다 오직 두 번의 스위치 기울기 평가만을 사용하며, 이는 이전 방법이 요구한 세 번보다 향상된 것이다.
• 일부 이전 연구와 달리, 기울기 유계 가정이 필요 없기 때문에 더 넓은 문제 범주에 적용 가능하다.
• 적응형 가중치 $ \beta_t $ 를 사용할 경우에도 수렴 속도는 $ \mathcal{O}(T^{-2/3}) $ 를 유지하지만, 적응형 기법을 사용할 경우 속도는 $ \mathcal{O}(\log T / T^{2/3}) $ 로 떨어진다.
• 분석 결과, 초기 분산 $ \mathbb{E}[\|v_0 - \nabla f(x_0)\|^2] $ 는 $ \tilde{b} = \mathcal{O}(T^{1/3}) $ 의 크기를 갖는 미니배치를 통해 제어할 수 있으며, 이는 최적의 복잡도를 확보하는 데에 충분하다.