[논문 리뷰] Characteristics of Monte Carlo Dropout in Wide Neural Networks

Joachim Sicking, Maram Akila외 3명|arXiv (Cornell University)|2020. 07. 10.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 5

한 줄 요약

이 논문은 넓은 신경망에서 몬테카를로(Monte Carlo, MC) 드롭아웃을 철저히 분석하여, 고정된 가중치 하에서 무한한 넓이 근사에서 MC 드롭아웃이 가우시안 프로세스(Gaussian process)를 근사함을 증명한다. 유한한 넓이의 네트워크에서의 전활성화 상관관계가 비가우시안 행동을 유도함을 밝혀내어, 실용적 성공에도 불구하고 MC 드롭아웃이 불확실성 추정에서 이론적 한계를 가진 이유를 설명한다.

ABSTRACT

Monte Carlo (MC) dropout is one of the state-of-the-art approaches for uncertainty estimation in neural networks (NNs). It has been interpreted as approximately performing Bayesian inference. Based on previous work on the approximation of Gaussian processes by wide and deep neural networks with random weights, we study the limiting distribution of wide untrained NNs under dropout more rigorously and prove that they as well converge to Gaussian processes for fixed sets of weights and biases. We sketch an argument that this property might also hold for infinitely wide feed-forward networks that are trained with (full-batch) gradient descent. The theory is contrasted by an empirical analysis in which we find correlations and non-Gaussian behaviour for the pre-activations of finite width NNs. We therefore investigate how (strongly) correlated pre-activations can induce non-Gaussian behavior in NNs with strongly correlated weights.

연구 동기 및 목표

• 고정된 가중치 하에서 무한히 넓은, 훈련되지 않은 신경망에서 MC 드롭아웃의 이론적 행동을 엄밀히 확립하는 것.
• 고정된 가중치 하에서 넓은 네트워크에서 MC 드롭아웃이 무한한 넓이 근사에서 가우시안 프로세스로 수렴하는지 조사하는 것.
• 유한한 넓이의 네트워크에서 MC 드롭아웃 하에서 전활성화의 비가우시안 행동의 원인을 규명하는 것.
• 전활성화와 가중치의 상관관계가 신경망 출력의 분포적 성질에 어떻게 영향을 미치는지 조사하는 것.

제안 방법

• 이론적 분석은 중심극한정리(Central Limit Theorem)를 활용하여, 고정된 가중치와 MC 드롭아웃을 갖는 넓은, 훈련되지 않은 네트워크에서 전활성화가 가우시안 프로세스로 수렴함을 보여준다.
• 이 증명은 동일하게 분포된(i.i.d.) 가우시안 가중치와 편향에 기반하며, 넓이가 증가함에 따라 층 간 상관관계가 사라짐을 보여준다.
• 실험적 분석은 무작위로 초기화된 네트워크와 훈련된 네트워크에서의 전활성화 분포를 평가한다.
• 장난감 모델은 상관된 두 가우시안 랜덤 변수의 곱을 사용하여, 상관된 전활성화가 출력 분포에 미치는 영향을 시뮬레이션한다.
• 구조화된 공분산(모든 요소 간 일정한 상관관계)을 가진 다변량 가우시안 분포를 사용하여 상관된 가중치 행렬을 모델링한다.
• 상관된 가우시안 곱의 합에 대한 PDF 이론적 유도는 지수 꼬리 행동을 드러내며, 이는 비가우시안 출력 분포를 설명한다.

실험 결과

연구 질문

• RQ1 고정된 가중치 하에서 무한한 넓이 근사에서, 넓은, 훈련되지 않은 신경망에서의 MC 드롭아웃이 가우시안 프로세스로 수렴하는가?
• RQ2 MC 드롭아웃 하에서 유한한 넓이의 신경망에서 전활성화의 비가우시안 행동은 무엇에 기인하는가?
• RQ3 이전 층의 전활성화 상관관계가 MC 드롭아웃에서 출력 분포에 어떻게 영향을 미치는가?
• RQ4 훈련된 네트워크에서 관찰된 비가우시안 행동은 상관된 전활성화와 가중치 구조로 설명될 수 있는가?
• RQ5 실제 유한한 넓이의 네트워크에서 드롭아웃이 존재할 경우, 중심극한정리의 이론적 가정이 어느 정도 붕괴되는가?

주요 결과

• 고정된 가중치 하에서 넓은, 훈련되지 않은 신경망에서 MC 드롭아웃은 무한한 넓이 근사에서 가우시안 프로세스로 수렴하며, 이는 층 간 상관관계의 소멸에 의해 증명된다.
• MC 드롭아웃 하에서 무작위로 초기화된 네트워크의 전활성화는 약간의 정규분포를 띠며, 중심극한정리의 지지를 받는다.
• 반면에, 훈련된 네트워크의 전활성화는 비가우시안 행동을 보이며, 특히 무거운 꼬리 또는 지수 꼬리가 관찰된다.
• 이전 층의 전활성화 간 상관관계는 장난감 모델을 통해 비가우시안 출력 분포를 유도함을 입증하였다.
• 이론적 분석은 상관된 가우시안 곱의 합이 지수 꼬리가 있는 PDF를 가지며, 이는 실험 관측과 일치함을 보여준다.
• 이 연구는 Osband(2016)가 이전에 지적한 linfinitely large-data 근사에서 MC 드롭아웃이 집중된 분포로 수렴하지 못하는 이유를, 가중치 및 활성화 상관관계로 인한 지속적인 비가우시안성 때문임을 설명한다.