[논문 리뷰] Survey of Dropout Methods for Deep Neural Networks

Alex Labach, Hojjat Salehinejad외 1명|arXiv (Cornell University)|2019. 04. 25.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 46

한 줄 요약

딥 뉴럴 네트워크를 위한 드롭아웃 방법에 대한 포괄적 개요로, 표준 드롭아웃, CNN/RNN용 변형, 모델 압축, 몬테 카를로 드롭아웃, 및 이론적 기초를 다룹니다.

ABSTRACT

Dropout methods are a family of stochastic techniques used in neural network training or inference that have generated significant research interest and are widely used in practice. They have been successfully applied in neural network regularization, model compression, and in measuring the uncertainty of neural network outputs. While original formulated for dense neural network layers, recent advances have made dropout methods also applicable to convolutional and recurrent neural network layers. This paper summarizes the history of dropout methods, their various applications, and current areas of research interest. Important proposed methods are described in additional detail.

연구 동기 및 목표

• 딥러닝에서 드롭아웃 방법의 역사와 범위를 요약한다.
• 표준 드롭아웃과 그것의 이론적 해석 및 한계를 설명한다.
• 학습, 합성곱 및 순환 계층, 그리고 모델 압축에 대한 드롭아웃 변형을 조사한다.
• 몬테 카를로 드롭아웃과 불확실성 추정에서의 역할을 논의한다.
• 드롭아웃 방법의 현재 연구 방향과 향후 경향을 개요한다.

제안 방법

• 원래의 드롭아웃 공식과 테스트 시 스케일링을 제시한다.
• 대체 드롭아웃 기법들(dropconnect, fast dropout, standout, variational dropout)을 설명한다.
• 적응형 드롭아웃 방식(어닐링, 커리큘럼, 베이즈 영감 방법)을 설명한다.
• CNN 특화 드롭아웃(공간 드롭아웃, 컷아웃, 맥스풀링 드롭아웃, 잔차 네트워크)을 자세히 다룬다.
• RNN/LSTM 지향 드롭아웃 방법(RNNdrop, 변분적 RNN 드롭아웃, 가중치 드롭된 LSTM, 순환 드롭아웃, Zoneout)을 설명한다.
• 드롭아웃 기반 모델 압축과 불확실성 추정을 위한 몬테카를로 드롭아웃에 대해 논의한다.

실험 결과

연구 질문

• RQ1 2012년 이후 개발된 주요 드롭아웃 방법과 그 주요 특징은 무엇인가?
• RQ2 드롭아웃 방법이 합성곱 및 순환 아키텍처에 어떻게 일반화되는가?
• RQ3 드롭아웃 기반 접근법이 모델 압축과 불확실성 추정에서 어떤 역할을 하는가?
• RQ4 드롭아웃 방법을 뒷받침하는 이론적 해석은 무엇인가(앙상블 평균, 베이지안 관점)?

주요 결과

• 드롭아웃은 공적합(co-adaptation)을 방지하고 일반화 성능을 개선하기 위한 정규화 기법으로 시작되었다.
• 다양한 드롭아웃 변형들이 학습 속도, 정규화, 다양한 아키텍처에 대한 적응성을 향상시킨다.
• CNN 및 RNN에 대한 특화 드롭아웃은 상관된 활성화 및 기억 유지에서의 표준 드롭아웃의 한계를 다룬다.
• 몬테 카를로 드롭아웃은 학습 절차를 바꾸지 않고 불확실성 추정을 가능하게 한다.
• 드롭아웃 방법은 희소화 및 구조화된 드롭아웃 체계를 통해 모델 압축에 기여한다.
• 이론적 프레임워크는 드롭아웃을 앙상블 평균화와 베이지안 추론에 연결하여 향후 개발을 이끈다.