[논문 리뷰] Not All Samples Are Created Equal: Deep Learning with Importance Sampling

Angelos Katharopoulos, François Fleuret|arXiv (Cornell University)|2018. 03. 02.

Advanced Neural Network Applications참고 문헌 30인용 수 106

한 줄 요약

이 논문은 심층 학습을 위한 중요도 샘플링 방식을 도입하여 샘플당 그래디언트 노름의 상한을 통해 informative 예제에 계산을 집중하고 분산 감소 및 벽시계 속도향상을 달성하며 훈련 손실과 테스트 정확도가 개선됨.

ABSTRACT

Deep neural network training spends most of the computation on examples that are properly handled, and could be ignored. We propose to mitigate this phenomenon with a principled importance sampling scheme that focuses computation on "informative" examples, and reduces the variance of the stochastic gradients during training. Our contribution is twofold: first, we derive a tractable upper bound to the per-sample gradient norm, and second we derive an estimator of the variance reduction achieved with importance sampling, which enables us to switch it on when it will result in an actual speedup. The resulting scheme can be used by changing a few lines of code in a standard SGD procedure, and we demonstrate experimentally, on image classification, CNN fine-tuning, and RNN training, that for a fixed wall-clock time budget, it provides a reduction of the train losses of up to an order of magnitude and a relative improvement of test errors between 5% and 17%.

연구 동기 및 목표

• 비정보적 학습 샘플에서 낭비되는 계산을 줄이려는 동기.
• 한 번의 순전파로 계산 가능한 per-sample gradient norm의 실현 가능한 상한을 개발.
• 중요도 샘플링으로 인한 분산 감소를 정량화하고 실제 속도 증가가 언제 발생하는지 결정.
• 표준 SGD에 통합되어 학습 속도를 높일 수 있는 실용 알고리즘 제공.

제안 방법

• 단일 순전파에서 계산 가능한 per-sample gradient norm의 상한 도출(Eq. 20).
• 상한에 비례하는 확률로 샘플링하여 stochastic gradient 추정의 분산을 최소화하는 중요도 샘플링 scheme 제안.
• Eq. 27에 따라 분산 감소를 추정하고 이를 배치 크기의 동등한 증가와 관련지어 샘플링을 켤지 말지 결정.
• 사전 샘플링 큰 배치를 통해 분포를 형성한 뒤, 교체를 허용하는 작은 배치를 샘플링하는 2단계 샘플링 접근 방식 사용.
• 중요도 샘플링이 속도 향상을 가져오는지에 따라 적응하는 알고리즘(Algorithm 1) 제공 및 한 줄의 코드로 Keras 워크플로우에 연결 가능.

실험 결과

연구 질문

• RQ1 딥 네트워크에서 per-sample gradient norms를 빠르게 계산 가능한 상한이 효과적인 중요도 샘플링을 안내할 수 있는가?
• RQ2 중요도 샘플링이 gradient 분산을 감소시키고 아키텍처 및 작업 전반에 걸쳐 실용적인 벽시계 속도 향상으로 이어지는가?
• RQ3 학습이 균일 샘플링에서 중요도 샘플링으로 언제 전환해야 속도 향상을 보장할 수 있는가?
• RQ4 제안된 상한이 손실 기반 또는 진정한 그래디언트 노름 기반 샘플링과 비교해 분산 감소 측면에서 어떻게 다른가?

주요 결과

• 중요도 샘플링 with the proposed upper bound achieves variance reduction and can yield wall-clock speedups for fixed time budgets.
• On CIFAR-10/100, the method reduces training loss and in CIFAR-100 yields around 5% improvement in test error over uniform sampling.
• In fine-tuning and LSTM sequence training, the approach accelerates convergence and lowers test error by notable margins within practical time frames.
• Compared to loss-based sampling, the upper-bound-based method provides more consistent variance reduction and robust performance across tasks.
• The bound enables a simple, implementation-friendly extension that can be activated with a single line of code in standard SGD pipelines.