[논문 리뷰] Dropout as a Bayesian Approximation: Appendix

Yarin Gal, Zoubin Ghahramani|arXiv (Cornell University)|2015. 06. 06.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 54

한 줄 요약

이 부록은 드롭아웃을 모든 가중치 레이어 이전에 적용하는 딥 네ural 네트워크가 변분 베이지안 근사법을 통한 딥 가우시안 프로세스의 수학적 등가성과 같음을 보여주며, 딥 러닝에서의 신뢰성 있는 불확실성 추정을 가능하게 한다. 주요 기여는 드롭아웃을 근사 베이지안 추론으로 재해석함으로써, 아키텍처 수정 없이 몬테카를로 드롭아웃을 통한 불확실성 정량화를 가능하게 한다.

ABSTRACT

We show that a neural network with arbitrary depth and non-linearities, with dropout applied before every weight layer, is mathematically equivalent to an approximation to a well known Bayesian model. This interpretation might offer an explanation to some of dropout's key properties, such as its robustness to over-fitting. Our interpretation allows us to reason about uncertainty in deep learning, and allows the introduction of the Bayesian machinery into existing deep learning frameworks in a principled way. This document is an appendix for the main paper "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning" by Gal and Ghahramani, 2015.

연구 동기 및 목표

• 딥 네트워크에서 드롭아웃을 베이지안 근사로 해석하기 위한 이론적 기반을 제공하기 위해.
• 드롭아웃의 오버피팅에 대한 강건성은 근사 베이지안 추론과의 등가성으로 설명될 수 있도록 하기 위해.
• 몬테카를로 드롭아웃을 통해 딥 러닝 모델에서의 불확실성 추정을 가능하게 하기 위해.
• 베이지안 원칙에 기반한 체계적인 확장 방식을 도출함으로써 드롭아웃을 일반화하기 위해.
• 기존 딥 러닝 프레임워크에 베이지안 불확실성 통합을 실용적이고 확장 가능한 방식으로 지원하기 위해.

제안 방법

• 딥 네트워크에 드롭아웃을 적용한 것과 딥 가우시안 프로세스 모델의 변분 근사 간의 등가성을 유도한다.
• 변분 추론을 사용하여 드롭아웃이 딥 가우시안 프로세스의 진정한 사후분포와 근사 사후분포 사이의 쿨백-라이블러 발산을 최소화함을 보여준다.
• 드롭아웃 마스크에 대한 몬테카를로 샘플링을 적용하여 예측 불확실성을 추정하며, 순차적 순전파의 앙상블을 베이지안 근사로 간주한다.
• 모든 가중치 레이어 이전에 드롭아웃을 적용함으로써 모든 파라미터에 대한 완전한 베이지안 처리가 가능해짐을 보여준다.
• 비감소하는 가중치 분산이나 가우시안 혼합 모델 사전분포와 같은 일반화된 방법을 제안하여 불확실성 추정을 향상시킨다.
• 이 방법이 컨볼루션 및 순환 네트워크를 포함한 임의의 네트워크 아키텍처에 대해 체계적인 베이지안 해석을 통해 적용 가능함을 입증한다.

실험 결과

연구 질문

• RQ1 딥 네트워크에서의 드롭아웃은 어떻게 수학적으로 베이지안 근사로 공식화될 수 있는가?
• RQ2 드롭아웃은 왜 효과적으로 오버피팅을 방지하는가? 이는 베이지안 원리로 설명될 수 있는가?
• RQ3 몬테카를로 드롭아웃은 실용적이고 이론적으로 타당한 방식으로 모델 불확실성을 추정하는 데 사용될 수 있는가?
• RQ4 모든 레이어 이전에 드롭아웃을 적용할 경우, 마지막 레이어에만 적용하는 것과 비교해 어떤 의미가 있는가?
• RQ5 표준 구현을 초월하여 불확실성 추정을 향상시키기 위해 드롭아웃을 어떻게 일반화할 수 있는가?

주요 결과

• 딥 네트워크의 모든 가중치 레이어 이전에 드롭아웃을 적용하는 것은 베이지안 신경망에서의 변분 추론과 등가되며, 이는 딥 가우시안 프로세스를 근사한다.
• 이 방법은 몬테카를로 드롭아웃을 통해 예측 불확실성을 체계적으로 추정할 수 있게 하여 예측의 신뢰도를 평가할 수 있도록 한다.
• 모든 레이어에 드롭아웃을 적용함으로써 파라미터 오버피팅을 방지하고 모든 네트워크 가중치에 대한 완전한 베이지안 처리를 지원한다.
• 실험 결과에 따르면, 모든 레이어에 드롭아웃을 적용한 몬테카를로 드롭아웃이 복잡한 아키텍처에서 표준 드롭아웃보다 더 우수한 성능을 보였다.
• 이 프레임워크는 비감소 분산이나 혼합 사전분포를 사용하는 등 체계적인 확장을 가능하게 하여 불확실성 정량화를 향상시킨다.
• 이러한 해석은 드롭아웃이 파라미터를 통합함으로써 오버피팅을 줄이는 데 성공한 이유를 베이지안 적분과 유사한 방식으로 설명한다.