[논문 리뷰] Online Learning to Sample

Guillaume Bouchard, Théo Trouillon외 2명|arXiv (Cornell University)|2015. 06. 30.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 18

한 줄 요약

이 논문은 이미지 분류, 행렬 분해, 강화 학습 작업 전반에서 확률적 경사하강법의 기울기 분산을 줄이기 위해 훈련 예제의 샘플링 분포를 동적으로 최적화하는 온라인 학습 방법인 적응형 가중치 경사하강법(Adaptive Weighted SGD, AW-SGD)을 제안한다. 두 번째 SGD 프로세스를 통해 모델 파라미터와 중요도 샘플링 가중치를 동시에 학습함으로써, 데이터 접근 시간이 크게 다를 경우 최대 100배의 속도 향상을 이룩한다.

ABSTRACT

Stochastic Gradient Descent (SGD) is one of the most widely used techniques for online optimization in machine learning. In this work, we accelerate SGD by adaptively learning how to sample the most useful training examples at each time step. First, we show that SGD can be used to learn the best possible sampling distribution of an importance sampling estimator. Second, we show that the sampling distribution of an SGD algorithm can be estimated online by incrementally minimizing the variance of the gradient. The resulting algorithm - called Adaptive Weighted SGD (AW-SGD) - maintains a set of parameters to optimize, as well as a set of parameters to sample learning examples. We show that AWSGD yields faster convergence in three different applications: (i) image classification with deep features, where the sampling of images depends on their labels, (ii) matrix factorization, where rows and columns are not sampled uniformly, and (iii) reinforcement learning, where the optimized and exploration policies are estimated at the same time, where our approach corresponds to an off-policy gradient algorithm.

연구 동기 및 목표

• 훈련 예제에 대한 최적의 적응형 샘플링 분포를 학습시켜 확률적 경사하강법(SGD)의 수렴 속도를 향상시키기 위해.
• 샘플링 분포를 학습 가능한 파라미터로 간주함으로써 온라인 학습에서 기울기 추정치의 분산을 줄이기 위해.
• 샘플링 분포 학습을 주 최적화 루프에 통합하여 모델과 샘플링 전략을 함께 최적화할 수 있도록 하기 위해.
• 다양한 데이터 접근 특성을 가진 다양한 기계학습 응용 분야에서 이 방법의 유효성을 입증하기 위해.
• 샘플링 가중치 학습의 오버헤드가 수렴 속도 향상으로 상쇄됨을 보여주며, 특히 데이터 접근 시간이 이질적인 환경에서 성능 향상이 두드러지게 나타남을 확인하기 위해.

제안 방법

• AW-SGD는 모델 파라미터 $w_t$를 위한 하나와 샘플링 분포 파라미터 $\tau_t$를 위한 다른 하나의 병렬 SGD 프로세스를 사용한다.
• 샘플링 분포 $q(x; \tau_t)$는 기울기 추정기의 분산의 기울기를 사용하여 온라인으로 업데이트된다.
• $\tau_t$의 업데이트 규칙은 기울기 추정치의 분산을 최소화하기 위해 유도되며, 업데이트 방향으로 $\|d_t\|^2 \nabla_\tau \log q(x_t; \tau_t)$를 사용한다.
• 알고리즘은 시간 인지 버전을 유지하며, 데이터 접근 시간을 함수로 모델링함으로써 I/O 제약이 있는 환경에서의 성능 향상을 가능하게 한다.
• 이 방법은 비가역 기대값을 포함한 모든 목적 함수에 일반적으로 적용 가능하며, 변분 추론과 로그-파트리티 추정 등에도 적용 가능하다.
• 기울기 조정 변수와 메타학습 프레임워크로의 확장이 가능하며, 다른 알고리즘을 최적화하거나 지도하는 데 학습할 수 있다.

실험 결과

연구 질문

• RQ1 확률적 경사하강법이 기울기 분산을 최소화하는 최적의 샘플링 분포를 학습하는 데 사용될 수 있는가?
• RQ2 샘플링 분포와 모델 파라미터를 동시에 학습시키는 것이 균일 샘플링보다 수렴 속도를 빠르게 하는가?
• RQ3 분산 또는 느린 스토리지 시스템과 같은 환경에서 데이터 접근 시간이 이질적일 경우 AW-SGD의 성능는 어떻게 변화하는가?
• RQ4 표준 지도 학습을 넘어서 행렬 분해 및 강화 학습과 같은 문제에서 비균일 샘플링으로 일반화할 수 있는가?
• RQ5 샘플링 분포 학습의 계산 비용과 수렴 속도 향상 사이의 상충 관계는 어떠한가?

주요 결과

• 하드디스크에서 읽는 경우와 같이 데이터 접근 시간이 크게 다를 경우, AW-SGD는 표준 SGD 대비 최대 100배의 속도 향상을 기록한다 (f=50,000).
• 네트워크 메모리에서 접근하는 경우 f=5000일 때, AW-SGD는 표준 SGD 대비 10배의 속도 향상을 기록하여 I/O 제약이 있는 환경에서 뚜렷한 성능 향상을 보였다.
• f≥200 (SSD 수준의 접근)일 경우, 시간 인지 AW-SGD는 표준 SGD를 능가하며, 이는 샘플링 오버헤드가 더 스마트한 샘플링으로 상쇄됨을 시사한다.
• 이미지 분류 및 행렬 분해 문제에서, 데이터 접근이 균일한 경우에도 AW-SGD는 표준 SGD보다 더 빠르게 수렴한다. 이는 분산 감소 덕분이다.
• 접근 시간이 균일한 경우, AW-SGD는 표준 SGD와 수렴 속도가 유사하게 유지되며, 이는 유리한 조건에서도 성능 저하가 발생하지 않음을 확인한다.
• 이 방법은 다양한 분야에 잘 일반화되며, 딥러닝, 행렬 분해, 강화 학습 전반에서 일관된 성능 향상을 보였다.