[논문 리뷰] Dropout as a Structured Shrinkage Prior

Eric Nalisnick, José Miguel Hernández-Lobato외 1명|arXiv (Cornell University)|2018. 10. 09.

Seismic and Structural Analysis of Tall Buildings참고 문헌 60인용 수 7

한 줄 요약

이 논문은 정확한 재매개변수화를 통해 드롭아웃을 구조적 셸링 사전—구체적으로는 가우시안 스케일 믹스—로 해석하는 베이지안 해석을 제안한다. 이는 드롭아웃의 몬테카를로 학습 목적이 마진 맵 추정을 근사화한다는 것을 드러낸다. 주요 기여는 잔차 신경망을 위한 새로운 사전, 즉 자동 깊이 결정(ADD)을 제안한 것으로, 이는 베이지안 모델 선택을 통한 네트워크 깊이 자동 선정을 가능하게 하며, UCI 회귀 벤치마크에서 표준 드롭아웃을 능가하고 깊이 있는 가우시안 프로세스와 경쟁 가능하다.

ABSTRACT

Dropout regularization of deep neural networks has been a mysterious yet effective tool to prevent overfitting. Explanations for its success range from the prevention of "co-adapted" weights to it being a form of cheap Bayesian inference. We propose a novel framework for understanding multiplicative noise in neural networks, considering continuous distributions as well as Bernoulli noise (i.e. dropout). We show that multiplicative noise induces structured shrinkage priors on a network's weights. We derive the equivalence through reparametrization properties of scale mixtures and without invoking any approximations. Given the equivalence, we then show that dropout's Monte Carlo training objective approximates marginal MAP estimation. We leverage these insights to propose a novel shrinkage framework for resnets, terming the prior 'automatic depth determination' as it is the natural analog of automatic relevance determination for network depth. Lastly, we investigate two inference strategies that improve upon the aforementioned MAP approximation in regression benchmarks.

연구 동기 및 목표

• 드롭아웃과 신경망 내 다중화된 노이즈에 대한 엄밀한 베이지안 해석을 제공함으로써, 히우리스틱 설명을 넘어서는 것.
• 근사 없이도 드롭아웃과 구조적 셸링 사전(가우시안 스케일 믹스) 간의 정확한 등가성을 확립하는 것.
• 잔차 신경망을 위한 새로운 사전을 개발하여, 베이지안 추론을 통해 네트워크 깊이 자동 선택이 가능하도록 하는 것.
• 꼬리 적응형 중요도 샘플링과 변분 EM과 같은 맞춤형 알고리즘을 제안함으로써 추론 효율성과 정확도를 향상시키는 것.
• 회귀 벤치마크에서 경쟁력 있는 성능을 보이며, 표준 드롭아웃을 능가하고 고용량 베이지안 모델과 맞먹는 성능을 보이는 것.

제안 방법

• 드롭아웃을 베르누이 분포를 가진 스케일링 인자로 가진 다중화된 노이즈의 특수한 경우로 표현하여, 재매개변수화를 통해 가우시안 스케일 믹스와 정확한 등가성을 입증한다.
• 다중화된 노이즈가 가중치 스케일이 층 간에 공유되는 구조적 사전을 유도함을 도출하며, 자동 관련성 결정(ARD)과 유사한 구조를 형성한다.
• 잔차 블록이 불필요한지 학습할 수 있도록 허용하는 새로운 사전, 즉 자동 깊이 결정(ADD)을 제안한다.
• 예측 불확실성의 편향을 줄이기 위해 몬테카를로 추정의 정확도를 향상시키기 위해 꼬리 적응형 중요도 샘플링 기법을 도입한다.
• ARD 및 ADD 사전 하에서 사후 추론을 위한 변분 EM 알고리즘을 개발하여, 구조적 셸링을 효율적으로 학습할 수 있도록 한다.
• UCI 벤치마크 데이터셋을 사용하여 회귀 과제에 이 프레임워크를 적용하고, 드롭아웃, 확률적 백프로파게이션, 깊이 있는 가우시안 프로세스와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 드롭아웃은 딥 신경망의 베이지안 사전과 어떻게 관련되어 있으며, 그 정확한 분포적 함의는 무엇인가?
• RQ2 신경망 내 다중화된 노이즈는 재매개변수화를 통해 구조적 셸링 사전을 유도할 수 있는가?
• RQ3 드롭아웃의 베이지안 해석은 잔차 신경망으로 확장되어 자동 깊이 선택을 가능하게 할 수 있는가?
• RQ4 꼬리 적응형 중요도 샘플링과 변분 EM과 같은 대안적 추론 전략은 표준 몬테카를로 드롭아웃에 비해 어떻게 향상되는가?
• RQ5 제안된 자동 깊이 결정 사전은 표준 드롭아웃과 다른 베이지안 모델보다 회귀 벤치마크에서 성능이 뛰어나게 되는가?

주요 결과

• 꼬리 적응형 중요도 샘플링 방법은 일곱 개의 UCI 회귀 데이터셋 중 다섯 개에서 가장 낮은 평균제곱근오차(RMSE)를 기록하여 예측 정확도 향상을 입증했다.
• ARD-ADD 사전을 사용한 잔차 신경망은 테스트된 모든 모델 중 평균 순위에서 최고를 기록했으며, 일곱 개의 데이터셋 중 세 개에서 뛰어난 성능을 보였다.
• ARD-ADD 사전에 대한 변분 EM 알고리즘이 효과적인 베이지안 추론을 가능하게 하여, 행 기반 및 전역 가중치 감소를 균형 있게 조절했다.
• 제안된 프레임워크는 드롭아웃의 생성 모델과 추론을 분리하여, 이전의 변분 해석과 달리 MCMC 및 기타 정확한 추론 방법과의 조합을 가능하게 했다.
• ARD-ADD 잔차 신경망은 기대값 전파를 통해 훈련된 깊이 있는 가우시안 프로세스와 경쟁 가능한 성능을 기록했다. 이는 고용량의 베이지안 모델임을 시사한다.
• 학습된 가중치의 히트맵은 ARD-ADD가 행 기반의 셸링과 전역 셸링을 모두 유도하며, 중요한 잔차 블록만 선택적으로 유지함을 확인했다.