[논문 리뷰] Subspace Inference for Bayesian Deep Learning

Pavel Izmailov, Wesley J. Maddox외 4명|arXiv (Cornell University)|2019. 07. 17.

Gaussian Processes and Bayesian Inference참고 문헌 48인용 수 19

한 줄 요약

이 논문은 높은 차원의 가중치 공간의 저차원 부분공간에 근거한 근사 posterior 추론을 제한함으로써 베이지안 딥러닝을 수행하는 Subspace Inference(SI)를 제안한다. SGD 궤적의 주성분이나 해를 연결하는 저손실 곡선과 같은 부분공간을 활용함으로써, 전체 매개변수 공간 방법에 비해 훨씬 낮은 계산 비용으로도 회귀 및 이미지 분류 과제에서 최신의 불확실성 캘리브레이션과 예측 성능을 달성하는 효율적이고 정확한 베이지안 모델 평균화를 가능하게 한다.

ABSTRACT

Bayesian inference was once a gold standard for learning with neural networks, providing accurate full predictive distributions and well calibrated uncertainty. However, scaling Bayesian inference techniques to deep neural networks is challenging due to the high dimensionality of the parameter space. In this paper, we construct low-dimensional subspaces of parameter space, such as the first principal components of the stochastic gradient descent (SGD) trajectory, which contain diverse sets of high performing models. In these subspaces, we are able to apply elliptical slice sampling and variational inference, which struggle in the full parameter space. We show that Bayesian model averaging over the induced posterior in these subspaces produces accurate predictions and well calibrated predictive uncertainty for both regression and image classification.

연구 동기 및 목표

• 베이지안 딥러닝에서 높은 차원의 매개변수 공간이 스케일업 및 정확한 추론을 방해하는 문제를 해결하기 위해.
• 신경망 가중치의 저차원 부분공간에서 효과적인 베이지안 모델 평균화를 가능하게 하는 모듈러한 프레임워크를 개발하기 위해.
• 특히 훈련 데이터에서 벗어난 영역에서 표준 방법이 종종 실패하는 예측 불확실성 추정을 향상시키기 위해.
• 놀랍게도 낮은 차원의 부분공간(예: 5차원)이 높은 품질의 베이지안 평균화를 위해 충분한 기능 다양성을 포괄할 수 있음을 보여주기 위해.
• 전체 매개변수 공간의 베이지안 추론에 대한 스케일업 가능하고, 모듈러하며 해석 가능한 대안을 제공하기 위해.

제안 방법

• SGD 궤적의 주성분 분석(PCA) 또는 독립적으로 훈련된 모델들 사이의 저손실 곡선을 따라 보간함으로써 가중치 공간의 저차원 부분공간을 구성한다.
• 전체 매개변수 공간에서 비가역적인 탐색 방법인 타원형 샘플링(ESS) 또는 변분 추론(VI)을 부분공간 내에서 수행함으로써 posterior 추론을 수행한다.
• 부분공간 매개변수의 근사 posterior에서 샘플링하여 다양한 고성능 모델의 예측을 조합함으로써 베이지안 모델 평균화를 구성한다.
• 부분공간의 구조를 활용하여 전체 가중치 공간에서 계산 비용이 지나치게 높아서 수행이 불가능한 복잡한 posterior 분포를 효율적으로 탐색한다.
• 기존의 확장 가능한 베이지안 기초 방법인 SWAG를 기준으로 삼지만, 정보가 풍부한 부분공간에 추론을 집중시음으로써 이를 향상시킨다.
• 이 방법을 회귀 및 분류 과제에 적용하여, VGG-16부터 WideResNet-100까지 다양한 모델을 사용해 UCI 데이터셋과 CIFAR-10/100에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 가중치 공간의 저차원 부분공간이 딥 네트워크에서 효과적인 베이지안 모델 평균화를 위해 충분한 기능 다양성을 포괄할 수 있는가?
• RQ2 부분공간의 선택—임의의 부분공간, SGD 궤적의 PCA, 또는 저손실 곡선—이 예측 정확도와 불확실성 캘리브레이션에 어떤 영향을 미치는가?
• RQ3 매우 낮은 차원으로 줄어든 것에도 불구하고, 전체 매개변수 공간의 베이지안 방법보다 정확도와 불확실성 추정 측면에서 부분공간 추론이 승승을 거두는가?
• RQ4 부분공간 추론을 사용할 경우, 표준 베이지안 딥러닝 접근법보다 분포 외 영역에서 증가하는 불확실성을 더 잘 표현할 수 있는가?
• RQ5 부분공간 추론은 얼마나 모듈러하고 다양한 아키텍처 및 추론 기법에 적응 가능하게 만들 수 있는가?

주요 결과

• 두 개의 독립적으로 훈련된 모델을 연결하는 2차원 곡선 부분공간을 사용한 부분공간 추론은 36M 매개변수의 WideResNet을 사용해 CIFAR-100에서 테스트 정확도 81.55%와 음의 로그우도 0.6493을 달성했다.
• PCA 부분공간(10D)은 80.54% 정확도와 0.6652 NLL을 기록했으며, 무작위 부분공간(80.17% 정확도, 0.6858 NLL)을 능가했고, 기준 모델들보다 일관된 성능 향상을 보였다.
• PCA 부분공간에서의 타원형 샘플링(ESS)은 SWAG보다 posterior의 형태를 더 정확히 포착했으며, SWAG는 첫 번째 주성분을 따라 분산을 과대평가했다.
• 부분공간 내에서의 변분 추론은 SWAG보다 posterior에 더 잘 맞는 결과를 보였는데, 이는 SWAG가 SGD 궤적을 근사하는 데서 비롯된 반면, 변분 추론이 직접 posterior를 근사하기 때문이다.
• 부분공간 추론은 MC-dropout, 온도 스케일링, KFAC-Laplace보다 CIFAR-10 및 CIFAR-100 벤치마크에서 일관되게 뛰어난 성능을 보였다.
• 36M 매개변수 네트워크의 5차원 부분공간조차도 베이지안 모델 평균화를 통해 뚜렷한 성능 향상을 이끌어내어, 저차원 부분공간의 효과성을 입증했다.