[논문 리뷰] Accelerating Stochastic Gradient Descent via Online Learning to Sample

Guillaume Bouchard, Théo Trouillon외 2명|arXiv (Cornell University)|2015. 06. 30.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 7

한 줄 요약

이 논문은 이미지 분류, 행렬 분해, 강화 학습 등 다양한 분야에서 데이터 중요도에 대한 사전 지식 없이 수렴 속도를 향상시키기 위해 훈련 예제에 대한 최적의 샘플링 분포를 적응적으로 학습함으로써 확률적 경사 하강법(SGD)의 수렴 속도를 높이는 온라인 학습 방법인 적응형 가중치 SGD(AW-SGD)를 제안한다. 실시간으로 기울기 분산을 최소화함으로써, 이는 데이터 중요도에 대한 사전 지식 없이도 수렴 속도를 향상시킨다.

ABSTRACT

Stochastic Gradient Descent (SGD) is one of the most widely used techniques for online optimization in machine learning. In this work, we accelerate SGD by adaptively learning how to sample the most useful training examples at each time step. First, we show that SGD can be used to learn the best possible sampling distribution of an importance sampling estimator. Second, we show that the sampling distribution of a SGD algorithm can be estimated online by incrementally minimizing the variance of the gradient. The resulting algorithm - called Adaptive Weighted SGD (AW-SGD) - maintains a set of parameters to optimize, as well as a set of parameters to sample learning examples. We show that AW-SGD yields faster convergence in three different applications: (i) image classification with deep features, where the sampling of images depends on their labels, (ii) matrix factorization, where rows and columns are not sampled uniformly, and (iii) reinforcement learning, where the optimized and explore policies are estimated at the same time.

연구 동기 및 목표

• 훈련 데이터에 대한 적응형 샘플링 전략을 학습하여 확률적 경사 하강법(SGD)의 수렴 속도를 빠르게 하기.
• 샘플링 분포의 최적화를 통해 온라인 최적화를 통해 기울기 분산을 최소화하기.
• 데이터 중요도에 대한 사전 지식 없이 온라인 학습 환경에서 더 빠른 수렴을 가능하게 하기.
• 최적화와 샘플링 과정을 하나의 적응형 프레임워크로 통합하기.
• 딥러닝과 강화 학습을 포함한 다양한 응용 분야에서의 효과성 입증하기.

제안 방법

• AW-SGD는 샘플링 분포를 학습 가능한 파라미터 세트로 설정하고, 이를 모델 파라미터와 동시에 최적화한다.
• 기울기 분산을 점진적으로 최소화하기 위해 온라인 학습을 사용한다.
• 알고리즘은 두 종류의 파라미터를 유지한다: 하나는 모델 가중치이고, 다른 하나는 훈련 예제에 대한 샘플링 가중치이다.
• 각 시간 단계에서 기울기 분산 감소 목표에 따라 샘플링 분포가 업데이트된다.
• SGD를 사용하여 최적의 중요도 샘플링 분포를 학습할 수 있다는 사실을 활용한다.
• 데이터 중요도가 변하는 지도 학습 및 강화 학습 설정 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 온라인 최적화에서 샘플링 분포를 온라인으로 학습함으로써 SGD 수렴 속도를 빠르게 할 수 있는가?
• RQ2 기울기 분산 감소 기반의 적응형 샘플링은 균일하거나 고정된 중요도 샘플링과 비교해 어떻게 다른가?
• RQ3 이와 같은 프레임워크는 이미지 분류 및 행렬 분해와 같은 다양한 기계 학습 작업에 동일하게 적용될 수 있는가?
• RQ4 모델과 샘플링 파라미터를 동시에 최적화하는 것이 별도의 학습보다 더 빠른 수렴을 이끌 수 있는가?
• RQ5 AW-SGD는 정책과 가치 함수 추정을 동시에 수행하는 강화 학습 환경에서 효과적으로 적용될 수 있는가?

주요 결과

• AW-SGD는 레이블의 정보성에 기반해 예제를 적응적으로 샘플링함으로써 딥 페처를 사용한 이미지 분류에서 표준 SGD보다 더 빠른 수렴을 달성한다.
• 행렬 분해에서는 기울기 분산에 기여도가 높은 행과 열을 비균일하게 샘플링함으로써 수렴 속도를 향상시킨다.
• 강화 학습에서는 정책과 탐색 전략을 적응형 샘플링을 통해 함께 최적화함으로써 학습을 가속화한다.
• 실시간으로 기울기 분산을 줄여 더 안정적이고 빠른 최적화를 이끈다.
• AW-SGD는 데이터 중요도에 대한 사전 지식 없이도 모든 세 가지 평가 응용 분야에서 베이스라인 방법을 능가한다.
• 알고리즘은 높은 계산 오버헤드 없이도 수렴 속도를 크게 향상시킨다.