[논문 리뷰] Biased Importance Sampling for Deep Neural Network Training

Angelos Katharopoulos, François Fleuret|arXiv (Cornell University)|2017. 05. 31.

Advanced Neural Network Applications참고 문헌 18인용 수 48

한 줄 요약

이 논문은 계산 비용을 줄이기 위해 경량 보조 네트워크를 사용해 손실 값으로 근사한 중요도 메트릭을 활용하는 편향된 중요도 샘플링 방법을 제안한다. 이 방법은 균일 샘플링 대비 20–30% 빠른 학습 속도를 제공하며 일반화 성능을 향상시키고, 특히 CIFAR10과 Penn Treebank에서 CNN과 RNN에 대해 더 낮은 분산으로 더 빠른 수렴을 달성한다.

ABSTRACT

Importance sampling has been successfully used to accelerate stochastic optimization in many convex problems. However, the lack of an efficient way to calculate the importance still hinders its application to Deep Learning. In this paper, we show that the loss value can be used as an alternative importance metric, and propose a way to efficiently approximate it for a deep model, using a small model trained for that purpose in parallel. This method allows in particular to utilize a biased gradient estimate that implicitly optimizes a soft max-loss, and leads to better generalization performance. While such method suffers from a prohibitively high variance of the gradient estimate when using a standard stochastic optimizer, we show that when it is combined with our sampling mechanism, it results in a reliable procedure. We showcase the generality of our method by testing it on both image classification and language modeling tasks using deep convolutional and recurrent neural networks. In particular, our method results in 30% faster training of a CNN for CIFAR10 than when using uniform sampling.

연구 동기 및 목표

• 대규모 데이터셋에서 딥 네트워크 학습의 높은 계산 비용을 해결하기 위해.
• 딥 러닝에서 정확한 중요도 가중치(예: 기울기 노름) 계산이 불가능한 문제를 해결하기 위해.
• 학습 수렴과 일반화 성능을 향상시키는 가용성 있고 저비용의 중요도 샘플링 기법을 개발하기 위해.
• 표준 샘플링을 초과하는 계산 오버헤드 없이 기울기 분산을 줄이고 학습 속도를 가속화하기 위해.
• 다양한 아키텍처(CNN, RNN)와 작업(이미지 분류, 언어 모델링)으로의 일반화를 위해.

제안 방법

• 중요도를 측정하기 위해 손실 값을 프록시로 사용하여, 균일 샘플링보다 기울기 분산을 줄이는 샘플링 분포를 구성한다.
• 주 모델과 병렬로 학습되는 작은 보조 네트워크를 사용해 각 훈련 샘플의 손실을 예측함으로써 중요도 가중치의 효율적 근사화를 가능하게 한다.
• 중요도 샘플링 기법은 소프트맥스 손실을 암묵적으로 최소화하는 편향된 기울기 추정기로 구현되어 더 나은 일반화를 유도한다.
• 중요도 추정치의 안정성을 확보하기 위해 온라인으로 스무딩 메커니즘을 사용해 샘플링 분포를 갱신한다.
• 기울기 노름 기반 샘플링을 손실 기반 근사로 대체함으로써 고비용의 2차 미분 계산을 피한다.
• Adam과 같은 표준 최적화 기법과 호환되며 기존 학습 파ip라인에 원활하게 통합된다.

실험 결과

연구 질문

• RQ1 손실 값은 딥 러닝에서 중요도 샘플링을 위한 효과적이고 계산적으로 실현 가능한 프록시가 될 수 있는가?
• RQ2 경량 보조 네트워크는 최소한의 계산 오버헤드로 대규모 딥 모델의 손실을 정확히 근사할 수 있는가?
• RQ3 손실 기반 중요도 샘플링은 실질적으로 기울기 분산을 줄이고 학습 수렴 속도를 가속화하는가?
• RQ4 이 방법은 과적합을 증가시키지 않고 일반화 성능을 향상시킬 수 있는가?
• RQ5 이 방법은 CNN과 RNN을 포함한 다양한 아키텍처와 데이터셋에서 어떻게 스케일링되는가?

주요 결과

• CIFAR10에서 CNN에 대해 균일 샘플링 대비 30% 더 빠른 학습 속도를 달성했다.
• Penn Treebank 언어 모델링 작업에서, 매 에포크당 10% 더 많은 시간을 사용함에도 불구하고 균일 샘플링 대비 총 학습 시간을 20% 줄였다(약 2시간 절약).
• 경량 보조 네트워크를 사용한 손실 근사화로 학습 시간이 20% 감소했으며, 일반화 성능은 유지 또는 향상시켰다.
• MNIST에서는 5번째 에포크에 테스트 오차가 0.2% 감소했고, CIFAR10에서는 30번째 에포크에 약 1% 감소했다.
• 스무딩 파rameter k=0.5를 사용할 경우 노이즈가 많은 중요도 추정치에 대해 강건하며, 하이퍼파ram터 튜닝이 덜 필요하다.
• 특히 복잡한 데이터셋인 Penn Treebank에서 기울기 노름이나 수동으로 설정한 하이퍼파ram터에 의존하는 이전 방법들보다 우수한 성능을 보였다.