[논문 리뷰] Overpruning in Variational Bayesian Neural Networks

Brian L. Trippe, Richard E. Turner|arXiv (Cornell University)|2018. 01. 18.

Gaussian Processes and Bayesian Inference참고 문헌 12인용 수 24

한 줄 요약

이 논문은 변분 베이지안 신경망에서 더 표현력 있는 변분 가족(예: 전면 공분산)을 사용할 경우 과도하게 히든 유닛을 제거하는 '변분 과다 정제'라는 병태적 행동을 규명한다. 저자들은 출력 가중치에 대한 사후분포가 정밀도가 높고 평균이 0인 경우, 입력 가중치가 데이터로부터 조건부 독립이 되어 모델 복잡도가 데이터 적합도 없이 감소함을 보이며, 이로 인해 더 단순한 근사법인 웨이트 노이즈가 더 높은 성능을 내는 이유를 설명한다.

ABSTRACT

The motivations for using variational inference (VI) in neural networks differ significantly from those in latent variable models. This has a counter-intuitive consequence; more expressive variational approximations can provide significantly worse predictions as compared to those with less expressive families. In this work we make two contributions. First, we identify a cause of this performance gap, variational over-pruning. Second, we introduce a theoretically grounded explanation for this phenomenon. Our perspective sheds light on several related published results and provides intuition into the design of effective variational approximations of neural networks.

연구 동기 및 목표

• 변분 베이지안 신경망에서 더 표현력 있는 변분 근사가 때로 더 단순한 것보다 예측 성능이 열 劣하는 이유를 조사하는 것.
• 특히 신경망에 적용된 변분 추론의 맥락에서 이 성능 저하의 근본 원인을 규명하는 것.
• 학습된 분산을 가진 변분 베이지안 신경망에서 과다 정제가 발생하는 이론적 설명을 제공하는 것.
• 이전 연구에서 관찰된 역설적인 결과(예: 정확도 손실이 미미한 상황에서 98%의 가중치 정제, 변분 드롭아웃에서 드롭아웃 확률이 1로 수렴)를 명확히 하는 것.
• 표현력 있는 가족에서의 과다 정제 위험을 고려하여 효과적인 변분 근사 설계를 안내하는 것.

제안 방법

• 저자들은 변분 자유에너지(VFE) 목적함수를 분석하고, 기대 로그우도와 사전분포로부터의 KL 발산으로 분해한다.
• 출력 가중치 $ v_j $의 사후분포가 낮은 분산으로 0에 집중될 경우, 해당 히든 유닛은 비활성화되고 입력 가중치 $ w_{j,i} $ 는 데이터로부터 탈중앙화됨을 입증한다.
• 이는 $ p(w_{j,i} | v_j = 0, \text{data}) = p(w_{j,i} | \alpha) $ 를 의미하며, 입력 가중치가 사전분포로 되돌아가 모델 복잡도가 감소함을 의미한다.
• 이 메커니즘은 데이터 적합도 향상 없이 VFE의 복잡도 페널티를 감소시켜 자유에너지 값을 인위적으로 낮춘다.
• UCI 회귀 데이터셋에서 여러 변분 가족(평균-장 가우시안, 전면 공분산, 웨이트 노이즈)을 비교하여 현상의 실증적 검증을 수행한다.
• 이론적 분석을 통해 과다 정제가 모델 적합도와 사전분포의 복잡도 간의 상충관계에서 기인함을 보여주며, 특히 출력 가중치 사후분포가 0으로 붕괴할 경우에 특히 두드러진다.

실험 결과

연구 질문

• RQ1 왜 더 표현력 있는 변분 근사가 변분 베이지안 신경망에서 때로 더 단순한 것보다 예측 성능이 열 劣하는가?
• RQ2 왜 전면 공분산과 같은 표현력 있는 가족에서 역설적인 성능 저하가 발생하는가?
• RQ3 출력 가중치 사후분포가 0으로 붕괴할 경우 전체 히든 유닛이 어떻게 정제되는가?
• RQ4 왜 변분 드롭아웃과 웨이트 노이즈와 같은 방법은 정확도 손실이 크지 않은데도 높은 희박성 또는 정제를 보이는가?
• RQ5 학습된 분산을 가진 변분 베이지안 신경망에서 관측된 과다 정제를 설명하는 이론적 메커니즘은 무엇인가?

주요 결과

• 전면 공분산(FC) 변분 가족은 더 높은 표현력을 지니고 있음에도 불구하고, 모든 6개의 UCI 회귀 데이터셋에서 평균-장(MF) 가족보다 성능이 열 劣한다.
• 학습된 분산이 없고 유닛 정제가 불가능한 웨이트 노이즈(WN)는 데이터셋 간 일관성 있는 성능을 기록한다.
• 평균-장(MF) 및 FC 근사 모두 출력 가중치 $ v_j $ 가 높은 신뢰도로 0으로 추정될 경우 히든 유닛이 실제로 제거되는 과다 정제 현상을 겪는다.
• 이론적 분석에 따르면 $ q(v_j) \approx \delta(0) $ 일 경우, 입력 가중치 $ w_{j,i} $ 는 데이터로부터 조건부 독립이 되어 사전분포로 되돌아가며 모델 복잡도가 감소한다.
• 이 과다 정제 메커니즘은 데이터 적합도 향상 없이 사후분포를 사전분포에 더 가깝게 만들기 때문에 자유에너지가 인위적으로 낮아지는 원인을 제공하며, 이는 오해의 소지가 있다.
• 이 현상은 이전 관찰 결과를 설명한다. 예를 들어, 정확도 손실이 미미한 상황에서 98%의 가중치 정제가 발생하거나, 변분 드롭아웃에서 드롭아웃 확률이 1로 수렴하는 현상.