[논문 리뷰] Bayesian Deep Learning via Subnetwork Inference

Erik Daxberger, Eric Nalisnick외 3명|UvA-DARE (University of Amsterdam)|2020. 10. 28.

Gaussian Processes and Bayesian Inference참고 문헌 79인용 수 11

한 줄 요약

이 논문은 전체 신경망의 가중치 중에서 전략적으로 선택된 소규모 하위집합에만 전체 공분산 가우시안 사후분포 근사를 수행하면서 나머지 가중치는 점추정으로 유지하는, 확장 가능한 베이지안 딥러닝 방법인 하위네트워크 추론을 제안한다. 하위네트워크에 대해 선형화된 라플라스 근사를 적용하고, 워샤프트 기반 선택 전략을 사용함으로써, 전체 네트워크의 베이지안 방법보다 더 낮은 표현력의 사후분포를 가진 방법보다 우수한 예측 불확실성 정량화 성능을 달성하며, 딥 앙상블 수준의 정확도를 보인다.

ABSTRACT

The Bayesian paradigm has the potential to solve core issues of deep neural networks such as poor calibration and data inefficiency. Alas, scaling Bayesian inference to large weight spaces often requires restrictive approximations. In this work, we show that it suffices to perform inference over a small subset of model weights in order to obtain accurate predictive posteriors. The other weights are kept as point estimates. This subnetwork inference framework enables us to use expressive, otherwise intractable, posterior approximations over such subsets. In particular, we implement subnetwork linearized Laplace as a simple, scalable Bayesian deep learning method: We first obtain a MAP estimate of all weights and then infer a full-covariance Gaussian posterior over a subnetwork using the linearized Laplace approximation. We propose a subnetwork selection strategy that aims to maximally preserve the model's predictive uncertainty. Empirically, our approach compares favorably to ensembles and less expressive posterior approximations over full networks. Our proposed subnetwork (linearized) Laplace method is implemented within the laplace PyTorch library at https://github.com/AlexImmer/Laplace.

연구 동기 및 목표

• 높은 차원의 가중치 공간으로 인해 대규모 딥 네트워크에서 베이지안 추론이 비가역적인 문제를 해결하기 위해.
• 딥러닝 모델의 분포 이탈에 대한 예측 보정성과 내성성을 향상시키기 위해.
• 예측 불확실성을 유지하면서 계산 비용을 줄이기 위해, 베이지안 추론을 소규모 핵심 가중치 하위집합에 집중시키기 위해.
• 표현력 있는 사후 근사가 하위네트워크에 적용될 경우, 전체 네트워크의 베이지안 방법과 딥 앙상블의 성능을 따라하거나 능가할 수 있음을 입증하기 위해.

제안 방법

• 모든 가중치에 대해 최대 사후확률( MAP ) 추정을 수행한다.
• 예측 불확실성을 유지하기 위해 워샤프트 거리 기반 기준을 사용하여 소규모이고 대표적인 하위네트워크 가중치를 선택한다.
• 선형화된 라플라스 근사를 사용하여 선택된 하위네트워크에 대해 전체 공분산 가우시안 사후분포를 추론한다.
• 남은 가중치는 고정된 점추정으로 유지하며, 하위네트워크 사후분포에 대한 마진화를 통해 효율적인 예측이 가능하다.
• 하위네트워크 선택 과정에서 확장성을 위해 대각 행렬 근사를 사용하여 사후 품질에 미치는 영향을 최소화한다.
• 최종 예측은 전체 네트워크 아키텍처와 하위네트워크의 베이지안 사후분포를 조합함으로써, 불확실성 인식 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 소규모 가중치 하위집합에 대한 베이지안 추론이 전체 신경망의 예측 불확실성을 유지할 수 있는가?
• RQ2 표현력 있는 사후 근사를 하위네트워크에 적용한 하위네트워크 추론이 표현력이 낮은 전체 네트워크의 베이지안 방법보다 우수한가?
• RQ3 하위네트워크 기반 접근이 딥 앙상블의 불확실성 보정 수준을 따라하거나 능가할 수 있는가?
• RQ4 하위네트워크 선택 전략의 선택이 사후 품질과 불확실성 추정에 어떤 영향을 미치는가?
• RQ5 사후 추론 단계에서가 아니라 하위네트워크 선택 단계에서 근사를 적용하는 것이 더 효율적이고 효과적인가?

주요 결과

• 제안된 하위네트워크(선형화된) 라플라스 방법은 전체 가중치의 소수에만 베이지안 추론을 적용함에도 불구하고, 딥 앙상블과 유사한 불확실성 보정성과 분포 이탈에 대한 내성성을 달성한다.
• 대각 또는 인수 분해된 사후분포를 가진 전체 네트워크의 베이지안 방법보다 우수한 성능을 보이며, 하위네트워크에서 표현력 있는 사후 근사가 전체 네트워크에서 표현력이 낮은 근사보다 더 효과적임을 입증한다.
• 전체 네트워크와 하위네트워크 사후분포 간의 워샤프트 거리 기반 하위네트워크 선택 전략은, 선택 과정에서 대각 근사를 사용하더라도 불확실성 유지에 크게 기여한다.
• 낮은 차원의 부분공간에서 전체 공분산 사후분포 추론이 가능해져 대규모 모델에 있어서 계산 가능해지며, 높은 예측 정확도를 유지한다.
• MNIST, CIFAR10, Fashion-MNIST, SVHN 및 테이블 형식의 UCI 데이터셋에서의 실험 결과, 기준 베이지안 및 앙상블 방법보다 뛰어난 보정성과 내성성을 확인하였다.
• Laplace PyTorch 라이브러리에 효율적으로 구현되어 재현성과 기존 딥러닝 워크플로우에의 통합이 가능하다.