[논문 리뷰] An empirical analysis of dropout in piecewise linear networks

David Warde-Farley, Ian Goodfellow외 2명|arXiv (Cornell University)|2013. 12. 21.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 63

한 줄 요약

이 논문은 Rectified Linear Networks에서 드롭아웃을 경험적으로 조사하여, 기하 평균 추론에 대한 웨이트 스케일링 근사가 매우 정확하고 효과적임을 보여준다. 드롭아웃에서 서브넷 간 웨이트 공유가 독립적인 앙상블을 초월해 일반화를 크게 향상시킴을 보이며, 적절한 앙상블 최적화 없이 단순히 노이즈를 추가하는 것은 드롭아웃의 이점을 재현하지 못함을 시사한다.

ABSTRACT

The recently introduced dropout training criterion for neural networks has been the subject of much attention due to its simplicity and remarkable effectiveness as a regularizer, as well as its interpretation as a training procedure for an exponentially large ensemble of networks that share parameters. In this work we empirically investigate several questions related to the efficacy of dropout, specifically as it concerns networks employing the popular rectified linear activation function. We investigate the quality of the test time weight-scaling inference procedure by evaluating the geometric average exactly in small models, as well as compare the performance of the geometric mean to the arithmetic mean more commonly employed by ensemble techniques. We explore the effect of tied weights on the ensemble interpretation by training ensembles of masked networks without tied weights. Finally, we investigate an alternative criterion based on a biased estimator of the maximum likelihood ensemble gradient.

연구 동기 및 목표

• 작은 ReLU 네트워크에서 기하 평균 추론에 대한 웨이트 스케일링 근사의 정확도를 평가하기 위해.
• 드롭아웃으로 훈련된 모델의 앙상블 예측에서 기하 평균과 산술 평균의 성능을 비교하기 위해.
• 드롭아웃에서 서브넷 간 웨이트 공유가 독립적인 모델 평균화를 초월해 정규화에 기여하는 정도를 평가하기 위해.
• 동일한 노이즈를 사용하는 드롭아웃과 유사한 기준을 활용해 부스팅 기반 기준이 표준 SGD보다 일반화 성능을 향상시키는지 조사하기 위해.

제안 방법

• 작은 ReLU 네트워크에서 모든 서브넷을 체계적으로 열거하여 예측의 정확한 기하 평균을 계산하기 위해.
• 표준 앙상블 평균화를 사용하여 웨이트 스케일링을 통한 기하 평균과 산술 평균의 성능를 비교하기 위해.
• 웨이트 공유 없이 마스크된 네트워크의 독립적이고 백킹된 앙상블을 훈련하여 표준 드롭아웃과 일반화 성능를 비교하기 위해.
• 새로운 훈련 기준인 '드롭아웃 부스팅'을 제안하고 평가하기 위해. 이 기준은 부스팅을 닮은 편향된 기울기 추정기를 사용하여 앙상블 가능도를 최적화함.
• 드롭아웃, 드롭아웃 부스팅, 표준 SGD 간에 동일한 초모수와 노이즈 분포를 사용하여 공정한 비교를 수행하기 위해.
• 테스트 정확도를 평가하고 성능 차이의 유의성을 평가하기 위해 통계적 검정(Wilcoxon signed-rank)을 사용하기 위해.

실험 결과

연구 질문

• RQ1 작은 ReLU 네트워크에서 예측의 기하 평균에 대한 웨이트 스케일링 근사의 정확도는 어떠한가?
• RQ2 드롭아웃 앙상블의 맥락에서 기하 평균이 산술 평균보다 분류 성능이 뛰어나거나 유사한가?
• RQ3 드롭아웃에서 서브넷 간 웨이트 공유가 독립적 앙상블에 비해 정규화에 얼마나 기여하는가?
• RQ4 드롭아웃와 동일한 마스킹 노이즈를 사용하는 부스팅 기반 훈련 기준이 표준 SGD보다 일반화 성능을 향상시키는가?

주요 결과

• 기하 평균에 대한 웨이트 스케일링 근사가 작은 네트워크에서 정확히 정확했으며, 정확한 기하 평균과 매우 유사하게 나타났다.
• 기하 평균은 분류 과제에서 산술 평균과 유사하거나 더 우수한 성능를 보이며, 유효하고 효과적인 대체 기준으로 사용될 수 있음을 뒷받침한다.
• 웨이트 공유를 통해 훈련된 앙상블(표준 드롭아웃 방식)이 동일한 크기의 독립적이고 공유 없는 앙상블보다 유의미하게 뛰어난 성능를 보이며, 웨이트 공유가 정규화를 향상시킴을 시사한다.
• 제안된 '드롭아웃 부스팅' 기준은 드롭아웃와 동일한 노이즈를 사용하지만 다른 목적 함수를 최적화함으로써 표준 SGD와 비교해 성능이 떨어지거나 유사했으며, 이는 단순한 노이즈만으로는 드롭아웃의 일반화 이점이 재현되지 않음을 의미한다.
• Wilcoxon signed-rank 검정 결과 드롭아웃 부스팅과 SGD 간 성능 차이가 유의미하지 않았다(p > 0.7)며, 이는 드롭아웃의 핵심 이점이 단순한 노이즈 주입이 아니라 앙상블 구조에 있음을 강화한다.
• 결과는 드롭아웃의 성공이 단순한 노이즈 주입이 아니라, 큰 암묵적 앙상블과 다양한 맥락에서 일반화하는 단위들의 조율된 학습 덕분임을 시사한다.