[논문 리뷰] Stochastic Optimization with Bandit Sampling

Farnood Salehi, L. Elisa Celis외 1명|arXiv (Cornell University)|2017. 08. 08.

Stochastic Gradient Optimization Techniques참고 문헌 9인용 수 11

한 줄 요약

이 논문은 확률적 경사하강법에서 경사 추정기의 분산을 최소화하기 위해 데이터 포인트를 적응적으로 선택하는 MABS라는 다수의 손잡이 기반 샘플링 방법을 제안한다. 밴딧 피드백를 사용해 동적으로 샘플링 확률을 업데이트함으로써 MABS는 점점 더 최적의 분산에 가까워지며, 요인 3 이내로 점 渐진적으로 근사한다. 이는 실제 데이터셋에서 SGD, Prox-SVRG, SAGA 모두에서 수렴 속도를 크게 향상시킨다.

ABSTRACT

Many stochastic optimization algorithms work by estimating the gradient of the cost function on the fly by sampling datapoints uniformly at random from a training set. However, the estimator might have a large variance, which inadvertently slows down the convergence rate of the algorithms. One way to reduce this variance is to sample the datapoints from a carefully selected non-uniform distribution. In this work, we propose a novel non-uniform sampling approach that uses the multi-armed bandit framework. Theoretically, we show that our algorithm asymptotically approximates the optimal variance within a factor of 3. Empirically, we show that using this datapoint-selection technique results in a significant reduction in the convergence time and variance of several stochastic optimization algorithms such as SGD, SVRG and SAGA. This approach for sampling datapoints is general, and can be used in conjunction with any algorithm that uses an unbiased gradient estimation -- we expect it to have broad applicability beyond the specific examples explored in this work.

연구 동기 및 목표

• 대규모 머신러닝에서 수렴 속도를 저하시키는 확률적 경사 추정기의 높은 분산 문제를 해결한다.
• 경사 크기의 사전 지식이 없이도 분산을 적응적으로 감소시키는 데이터 포인트 샘플링 전략을 개발한다.
• 경사 계산의 온라인 피드백을 사용해 실시간으로 최적의 샘플링 확률을 학습하는 방법을 설계한다.
• 낮은 계산 오버헤드를 유지하면서도 분산 감소에 대한 이론적 보장을 확보한다.
• 초기 사례 연구를 넘어서 다양한 확률적 최적화 알고리즘에 널리 적용 가능한지를 입증한다.

제안 방법

• 샘플링 분포 $ p^t $ 에 대한 경사 추정기의 효과적 분산을 $ \mathbb{V}_e^t(w^t, p^t) = \frac{1}{n^2} \sum_{i=1}^n \frac{1}{p_i^t} \|\nabla\phi_i(w^t)\|^2 $ 로 수식화한다.
• 관측된 경사 노름에 기반해 최적의 샘플링 분포 $ p^t $ 를 온라인으로 학습하기 위해 다수의 손잡이 기반 알고리즘인 EXP3을 적용한다.
• 높은 경사가 있는 데이터 포인트를 선택하는 데 있어 탐색과 이용의 균형을 이루기 위해 지수 가중치를 사용해 샘플링 확률을 업데이트한다.
• 역확률 가중치를 통해 비균일 샘플링을 보정함으로써 편향 없는 경사 추정기를 유지한다: $ \hat{g}(w^t) = \frac{\nabla\phi_{i_t}(w^t)}{n p_i^t} $.
• 역사적 경사 노름을 사용해 최적의 분포를 동적으로 추정함으로써 전체 경사 계산의 비용을 피한다.
• 사전 처리가 필요 없으며, 반복 과정에서 변화하는 경사 크기에 적응한다.

실험 결과

연구 질문

• RQ1 밴딧 기반 접근법이 확률적 경사하강법에서 분산을 줄이기 위해 근사 최적의 비균일 샘플링 분포를 학습할 수 있는가?
• RQ2 제안된 방법의 최적 샘플링 분포에 대한 분산 근사 오차에 대해 이론적 상한을 어떻게 설정할 수 있는가?
• RQ3 실증적으로, 제안된 샘플링 전략은 균일 샘플링과 중요도 샘플링에 비해 수렴 속도와 안정성 측면에서 어떻게 비교되는가?
• RQ4 다양한 알고리즘과 데이터셋에서 최적화 성능 향상과 함께 낮은 계산 오버헤드를 유지하는가?
• RQ5 이 방법은 확률적 최적화에서 큰 스텝 사이즈에 대해 안정성을 향상시킬 수 있는가?

주요 결과

• 유계 경사 가정 하에 MABS는 점점 더 최적의 분산에 요인 3 이내로 점 渐진적으로 근사한다.
• w8a 및 ijcnn1 데이터셋에서 MABS는 균일 샘플링과 중요도 샘플링에 비해 SGD, Prox-SVRG, SAGA 모두에서 수렴 시간과 분산을 크게 감소시킨다.
• SGD_MABS는 균일 샘플링 기반 S2GD보다 10배 빠르게 수렴하고, 균일 샘플링 기반 쿼아-뉴턴보다도 최적 값에 13.6배 더 가까이 수렴한다.
• MABS는 안정성 향상: SGD_MABS는 스텝 사이즈 $ \gamma = 5 $ 까지 안정적으로 유지되며, 균일 또는 중요도 샘플링을 사용한 SGD는 $ \gamma = 0.5 $ 에서 발산한다.
• 표준 SGD보다 단지 10% 더 많은 학습 시간만 추가되며, 중요도 샘플링($ p \sim G_i $)은 시간이 40% 더 오래 걸리고, $ p \sim L_i $ 는 너무 느려 완료되지 못한다.
• MABS는 SAGA 및 Prox-SVRG와 같은 분산 감소 기법과 조합해도 모든 테스트된 알고리즘과 데이터셋에서 다른 샘플링 방법을 능가한다.