[논문 리뷰] Dropout is a special case of the stochastic delta rule: faster and more accurate deep learning

Noah Frazier-Logue, Stephen José Hanson|arXiv (Cornell University)|2018. 08. 10.

Adversarial Robustness in Machine Learning참고 문헌 5인용 수 8

한 줄 요약

이 논문은 드롭아웃이 각 가중치가 학습 가능한 평균과 표준편차를 가진 가우시안 분포를 따르는 랜덤 변수인, 더 일반적인 프레임워크인 스토하스틱 델타 룰(SDR)의 특수한 경우임을 보여준다. SDR는 CIFAR-100에서 테스트 오차를 최대 17% 감소시키고 수렴 속도를 높여, 기존 드롭아웃 대비 학습 시간의 35%만으로 동일한 정확도를 달성한다.

ABSTRACT

Multi-layer neural networks have lead to remarkable performance on many kinds of benchmark tasks in text, speech and image processing. Nonlinear parameter estimation in hierarchical models is known to be subject to overfitting and misspecification. One approach to these estimation and related problems (local minima, colinearity, feature discovery etc.) is called Dropout (Hinton, et al 2012, Baldi et al 2016). The Dropout algorithm removes hidden units according to a Bernoulli random variable with probability $p$ prior to each update, creating random "shocks" to the network that are averaged over updates. In this paper we will show that Dropout is a special case of a more general model published originally in 1990 called the Stochastic Delta Rule, or SDR (Hanson, 1990). SDR redefines each weight in the network as a random variable with mean $μ_{w_{ij}}$ and standard deviation $σ_{w_{ij}}$. Each weight random variable is sampled on each forward activation, consequently creating an exponential number of potential networks with shared weights. Both parameters are updated according to prediction error, thus resulting in weight noise injections that reflect a local history of prediction error and local model averaging. SDR therefore implements a more sensitive local gradient-dependent simulated annealing per weight converging in the limit to a Bayes optimal network. Tests on standard benchmarks (CIFAR) using a modified version of DenseNet shows the SDR outperforms standard Dropout in test error by approx. $17\%$ with DenseNet-BC 250 on CIFAR-100 and approx. $12-14\%$ in smaller networks. We also show that SDR reaches the same accuracy that Dropout attains in 100 epochs in as few as 35 epochs.

연구 동기 및 목표

• 드롭아웃과 스토하스틱 델타 룰(SDR) 사이의 이론적 연결 고리를 확립하기 위해.
• 가중치를 학습 가능한 랜덤 변수로 모델링하는 SDR가 표준 드롭아웃보다 일반화 성능과 학습 효율성을 향상시키는지 조사하기 위해.
• 최신의 DenseNet 아키텍처를 사용하여 CIFAR-10 및 CIFAR-100과 같은 표준 벤치마크에서 SDR의 성능을 평가하기 위해.
• SDR가 드롭아웃보다 더 빠른 수렴 속도를 보이며 더 높은 테스트 정확도를 달성할 수 있음을 보여주기 위해.

제안 방법

• SDR는 각 가중치를 학습 가능한 평균 μ와 표준편차 σ를 가진 가우시안 분포로 모델링하며, 각 순전파 단계에서 샘플링한다.
• 각 가중치의 평균과 표준편차는 예측 오차 기울기에 따라 업데이트되며, 이는 오차 의존적 노이즈 주입을 가능하게 한다.
• SDR는 학습 중에 가중치 설정의 지수적 수의 조합을 확률적으로 샘플링함으로써 국소적 모델 평균화를 수행한다.
• 기존 딥러닝 프레임워크에 최소한의 코드 수정으로 자연스럽게 통합되며, 기울기와 가중치에만 접근하면 된다.
• SDR는 고정된 초모수를 사용하여 DenseNet-BC 아키텍처에 구현되었고, CIFAR-10 및 CIFAR-100에서 평가되었다.
• 학습 과정은 국소 예측 오차 이력을 반영하는 적응형 노이즈 주입을 사용하여 가중치 공간의 동적 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 드롭아웃은 수학적으로 스토하스틱 델타 룰(SDR)의 특정 사례와 동일한가?
• RQ2 SDR는 표준 이미지 분류 벤치마크에서 표준 드롭아웃보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 SDR는 드롭아웃과 비교해 테스트 정확도를 유지하거나 향상시키면서 학습 시간을 줄일 수 있는가?
• RQ4 SDR의 적응형 노이즈 주입 방식은 드롭아웃의 고정된 베르누이 드롭아웃 방식과 비교해 수렴 속도와 최종 성능 측면에서 어떻게 다른가?

주요 결과

• SDR는 CIFAR-100에서 DenseNet-BC 250를 사용할 때 표준 드롭아웃 대비 약 17%의 테스트 오차 감소를 보였다.
• SDR는 더 작은 DenseNet 아키텍처(예: DenseNet-40)를 사용할 때 CIFAR-100에서 12~14%의 테스트 오차 감소를 기록했다.
• SDR는 드롭아웃이 100 에포크가 필요한 반면, 최소 35 에포크 만으로도 동일한 최종 검증 오차를 달성했다.
• 모든 벤치마크에서 SDR는 학습 손실을 80% 이상 감소시켰으며, DenseNet-BC 250를 사용할 때 CIFAR-100에서 최종 손실이 0.11이었다.
• 121층의 DenseNet을 사용한 ImageNet의 초보적 결과에서는 SDR가 드롭아웃 대비 오차율을 9% 향상시켰다(28.35에서 25.80으로).
• 가중치의 표준편차 파ameters는 학습이 끝날 무렵 거의 0으로 수렴하여 안정적이고 낮은 노이즈를 가진 최종 모델임을 나타냈다.