[논문 리뷰] AdaBatch: Efficient Gradient Aggregation Rules for Sequential and Parallel Stochastic Gradient Methods

Alexandre Défossez, Francis Bach|arXiv (Cornell University)|2017. 11. 06.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 10

한 줄 요약

AdaBatch는 샘플 효율성을 향상시키고 효과적인 병렬 처리를 가능하게 하기 위해 희소성에 기반해 좌표별로 기울기를 적응적으로 재스케일링하는 새로운 기울기 집합 규칙을 제안한다. 이는 표준 미니배치 SGD보다 우수한 성능을 보이며, 이는 비동기 방법인 Hogwild!와 유사한 성능을 유지하면서도 수렴 보장을 갖춘다. 이는 희소 데이터셋에서 순차적 및 분산 환경 모두에서 표준 미니배치 SGD보다 뛰어난 성능을 발휘한다.

ABSTRACT

We study a new aggregation operator for gradients coming from a mini-batch for stochastic gradient (SG) methods that allows a significant speed-up in the case of sparse optimization problems. We call this method AdaBatch and it only requires a few lines of code change compared to regular mini-batch SGD algorithms. We provide a theoretical insight to understand how this new class of algorithms is performing and show that it is equivalent to an implicit per-coordinate rescaling of the gradients, similarly to what Adagrad methods can do. In theory and in practice, this new aggregation allows to keep the same sample efficiency of SG methods while increasing the batch size. Experimentally, we also show that in the case of smooth convex optimization, our procedure can even obtain a better loss when increasing the batch size for a fixed number of samples. We then apply this new algorithm to obtain a parallelizable stochastic gradient method that is synchronous but allows speed-up on par with Hogwild! methods as convergence does not deteriorate with the increase of the batch size. The same approach can be used to make mini-batch provably efficient for variance-reduced SG methods such as SVRG.

연구 동기 및 목표

• 큰 배치 크기에서 샘플 효율성이 떨어지는 표준 미니배치 SGD의 비효율성을 해결한다.
• 동기 병렬 SGD의 한계를 극복한다. 이는 반복 횟수가 감소하고 큰 배치 크기에서 수렴이 불안정해지는 문제를 야기한다.
• 더 큰 배치 크기와 효과적인 병렬 처리를 가능하게 하면서도 샘플 효율성을 유지하는 기울기 집합 규칙을 개발한다.
• 수렴 보장을 유지하면서도 동기 분산 SGD가 비동기 방법인 Hogwild!와 동등한 성능을 낼 수 있도록 한다.
• AdaBatch의 이점을 분산된 기울기 감소 방법인 SVRG와 같은 분산된 기울기 감소 방법으로 확장한다.

제안 방법

• 표준 미니배치 평균화를 좌표별 정규화로 대체한다: 각 기울기 성분은 배치 내 해당 좌표에서 비영인 기울기의 수로 나누어진다.
• 이 규칙은 Adagrad의 좌표별 학습률 적응 방식과 유사하게 데이터의 희소성을 활용하는 최적화 문제의 재가중을 암시적으로 수행한다.
• 각 좌표에 대한 확률적 평균을 유지함으로써 기울기 노름 제어를 보장하여 안정성을 유지한다.
• 이 방법은 순차적 및 병렬 SGD 모두와 호환되며, 효율적인 동기 분산 학습을 가능하게 한다.
• 기존의 SGD 및 SVRG 프레임워크에 최소한의 코드 변경만으로 통합 가능하며, 오직 기울기 집합 논리만 수정하면 된다.
• 이론적 분석을 통해 암시적인 좌표별 재스케일링과 동등함을 입증하였으며, 표준 가정 하에 수렴 보장을 제공한다.

실험 결과

연구 질문

• RQ1 수행 비용을 증가시키지 않고 수정된 기울기 집합 규칙이 희소 확률적 최적화에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 제안된 AdaBatch 규칙이 동기 SGD가 더 큰 배치 크기와 더 많은 워커를 사용할 수 있도록 효과적으로 확장되며, 비동기 방법인 Hogwild!와 동등한 성능을 낼 수 있는가?
• RQ3 표준 미니배치 SGD와 비교했을 때 AdaBatch가 희소 데이터셋에서 수렴 속도와 최종 테스트 오차를 얼마나 향상시키는가?
• RQ4 AdaBatch는 분산된 기울기 감소 방법인 SVRG와 같이 확장 가능할 수 있는가? 샘플 효율성과 병렬 확장성 측면에서 이점이 유지되는가?
• RQ5 Wall-clock 시간과 샘플 효율성 측면에서 AdaBatch는 최신 비동기 방법인 Hogwild!와 비교해 어떻게 성능을 낼 수 있는가?

주요 결과

• AdaBatch는 배치 크기와 워커 수를 늘릴수록 표준 미니배치 SGD보다 수렴 속도와 최종 테스트 오차 측면에서 뚜렷한 우월성을 보인다.
• 스팸 및 URL 데이터셋에서, AdaBatch는 동기 학습임에도 불구하고 Wall-clock 시간 기준으로 Hogwild!와 유사한 수렴 성능을 달성한다. 반면 표준 미니배치 SGD는 더 큰 배치 크기에서 성능이 떨어진다.
• 뉴스20 데이터셋에서는, 큰 배치 크기를 사용하더라도 AdaBatch가 표준 SGD보다 샘플 효율성을 유지하거나 향상시킨다.
• SVRG 실험에서는, 특히 초기 최적화 단계에서 표준 미니배치 SVRG보다 더 빠른 수렴을 달성한다. 이는 뉴스20 및 스팸 데이터셋에서 관찰된 성과이다.
• 이 방법은 워커 수 증가에 따라 동기 SGD가 효율적으로 확장되며, 스팸 및 URL 데이터셋에서 초당 처리하는 샘플 수 측면에서 거의 이상적인 스피드업을 달성한다.
• 이론적 분석을 통해 AdaBatch가 Adagrad와 유사한 암시적 좌표별 기울기 재스케일링과 동등함을 입증하였으며, 이는 개선된 안정성과 수렴 성질을 설명한다.