[논문 리뷰] Unifying the Dropout Family Through Structured Shrinkage Priors

Eric Nalisnick, Padhraic Smyth|arXiv (Cornell University)|2018. 01. 01.

Adversarial Robustness in Machine Learning인용 수 1

한 줄 요약

이 논문은 정확한 재파arameterization을 통해 구조적 수축 사전을 통해 드롭아웃 및 기타 곱셈 노이즈 방법을 통합하며, 드롭아웃의 학습 목적이 근사적으로 사후 최대사후추정(MAP) 추정을 근사함을 보여준다. 이는 ResNet에서 '자동 깊이 결정'을 도입하여, 개선된 추론 전략을 통해 회귀 벤치마크에서 일반화 성능을 향상시킨다.

ABSTRACT

Dropout regularization of deep neural networks has been a mysterious yet effective tool to prevent overfitting. Explanations for its success range from the prevention of co-adapted weights to it being a form of cheap Bayesian inference. We propose a novel framework for understanding multiplicative noise in neural networks, considering continuous distributions as well as Bernoulli noise (i.e. dropout). We show that multiplicative noise induces structured shrinkage priors on a network's weights. We derive the equivalence through reparametrization properties of scale mixtures and without invoking any approximations. Given the equivalence, we then show that dropout's Monte Carlo training objective approximates marginal MAP estimation. We leverage these insights to propose a novel shrinkage framework for resnets, terming the prior 'automatic depth determination' as it is the natural analog of automatic relevance determination for network depth. Lastly, we investigate two inference strategies that improve upon the aforementioned MAP approximation in regression benchmarks.

연구 동기 및 목표

• 신경망 내 곱셈 노이즈(드롭아웃 포함)를 구조적 수축 사전과 정확하게 이론적으로 연결하는 원칙적인 이론적 프레임워크를 제공하는 것.
• 근사 없이 드롭아웃의 몬테카를로 학습 목표와 사후 최대사후추정(MAP) 추정 간의 동치성을 확립하는 것.
• 자동 깊이 결정을 가능하게 하는 새로운 사전을 ResNet에 개발하는 것. 이는 자동 관련성 결정과 유사하다.
• 표준 드롭아웃 학습에서 사용하는 MAP 근사 이외의 추론 전략을 조사하는 것.

제안 방법

• 스케일 혼합의 재파arameterization을 사용하여 곱셈 노이즈가 네트워크 가중치에 대해 구조적 수축 사전을 유도함을 보여준다.
• 연속적 및 베르누이 노이즈 분포의 성질을 통해 정확한 동치성을 도출함으로써, 드롭아웃의 학습 목표와 사후 최대사후추정(MAP) 추정 간의 정확한 동치성을 유도한다.
• 전체 잔차 블록의 프루닝을 장려함으로써 자동 깊이 결정을 가능하게 하는 잔차 네트워크를 위한 구조적 사전을 제안한다.
• 표준 MAP 이외의 두 가지 추론 전략을 도입하여, 회귀 과제에서 일반화 성능을 향상시킨다.
• 정확한 재파arameterization을 활용하여 변분 근사 없이 이론적 엄밀함을 확보한다.
• 성능 향상을 평가하기 위해 회귀 벤치마크에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 정확한 재파arameterization을 통해 신경망 내 곱셈 노이즈를 어떻게 구조적 수축 사전과 공식적으로 연결할 수 있는가?
• RQ2 베이지안 프레임워크에서 드롭아웃의 학습 목표가 사후 최대사후추정(MAP) 추정을 어느 정도 근사하는가?
• RQ3 잔차 네트워크에서 자동 깊이 결정을 가능하게 하는 구조적 사전을 설계할 수 있는가?
• RQ4 MAP 추정을 초월하는 추론 전략이 회귀 벤치마크에서 성능 향상에 기여하는가?
• RQ5 표준 드롭아웃을 구조적 수축 사전으로 대체할 경우 이론적 및 실증적 영향은 무엇인가?

주요 결과

• 베르누이 드롭아웃을 포함한 곱셈 노이즈는 스케일 혼합의 정확한 재파arameterization을 통해 네트워크 가중치에 대해 구조적 수축 사전을 유도한다.
• 유도된 사전 프레임워크 하에서 드롭아웃의 몬테카를로 학습 목표는 수학적으로 사후 최대사후추정(MAP) 추정과 정확히 동치이다.
• 제안된 구조적 사전은 전체 잔차 블록의 프루닝을 장려함으로써 ResNet에서 자동 깊이 결정을 가능하게 한다.
• 새로운 추론 전략은 표준 MAP 근사보다 회귀 벤치마크에서 더 뛰어난 성능을 보이며, 일반화 성능 향상을 입증한다.
• 이 프레임워크는 수축 사전을 통해 드롭아웃과 기타 곱셈 노이즈 방법을 이론적으로 엄밀하게 통합한다.
• 실증 결과는 제안된 방법이 표준 드롭아웃과 기준 MAP 추론보다 회귀 과제에서 더 뛰어난 성능을 달성함을 확인한다.