[논문 리뷰] Global inducing point variational posteriors for Bayesian neural networks and deep Gaussian processes

Sebastian W. Ober, Laurence Aitchison|arXiv (Cornell University)|2020. 05. 17.

Gaussian Processes and Bayesian Inference참고 문헌 64인용 수 17

한 줄 요약

이 논문은 입력층에 위치한 전역 유도 점을 학습하고 네트워크 전반에 걸쳐 전파함으로써 층 간 상관관계를 모델링하는 베이지안 신경망(BNNs) 및 딥 가우시안 프로세스(DGPs)를 위한 전역 유도 점 변분 후행분포를 제안한다. 데이터 증강 또는 온도 조정 없이 CIFAR-10에서 86.7%의 정확도를 기록하며, 표준 국소 유도 점 방법을 능가하고 SGMCMC 성능에 가까이 다가서는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We consider the optimal approximate posterior over the top-layer weights in a Bayesian neural network for regression, and show that it exhibits strong dependencies on the lower-layer weights. We adapt this result to develop a correlated approximate posterior over the weights at all layers in a Bayesian neural network. We extend this approach to deep Gaussian processes, unifying inference in the two model classes. Our approximate posterior uses learned "global" inducing points, which are defined only at the input layer and propagated through the network to obtain inducing inputs at subsequent layers. By contrast, standard, "local", inducing point methods from the deep Gaussian process literature optimise a separate set of inducing inputs at every layer, and thus do not model correlations across layers. Our method gives state-of-the-art performance for a variational Bayesian method, without data augmentation or tempering, on CIFAR-10 of 86.7%, which is comparable to SGMCMC without tempering but with data augmentation (88% in Wenzel et al. 2020).

연구 동기 및 목표

• 표준 변분 추론이 층 간에 독립적인 후행분포를 가정하고 층 간 상관관계를 포착하지 못하는 한계를 해결하기 위해.
• 두 모델 유형 모두에 동일한 후행분포 구조를 확장하여 BNNs와 DGPs를 위한 통합된 추론 프레임워크를 개발하기 위해.
• 각 층 별로 별도로 최적화하는 대신 네트워크 전반에 걸쳐 전파되는 전역 유도 점을 학습하여 베이지안 딥 러닝의 예측 성능을 향상시키기 위해.
• 강력한 불확실성 정량화를 유지하면서도 표준 벤치마크에서 높은 정확도를 달성하는 가용성과 효율성을 확보하는 방법을 제공하기 위해.

제안 방법

• BNN의 최상위 층 가중치에 대한 최적의 근사 후행분포를 상위 층 표현에 대한 베이지안 선형 회귀를 통해 유도함으로써 자연스럽게 층 간 상관관계를 유도한다.
• 각 층에 학습된 '가짜 출력'을 도입하고, 하위 층에서 전파된 입력에서 이 가짜 출력으로의 베이지안 선형 회귀를 사용하여 가중치에 대한 후행분포를 정의한다.
• 전역 유도 점은 입력층에만 정의되고 네트워크 전반에 걸쳐 전파되어 더 깊은 층에서의 유도 입력을 생성함으로써 각 층 별로 유도 입력을 최적화하는 것을 피한다.
• 이 방법은 전체 네트워크의 하위 층 표현에 의존하는 구조화된 후행분포를 사용하는 변분 추론 프레임워크를 사용하며, 국소 가중치만을 고려하는 것이 아니라 전체 네트워크의 구조를 반영한다.
• 합성곱 층의 경우, 유도 점의 전역 구조를 유지하면서도 계산 가능성을 확보하는 효율적인 구현을 포함한다.
• 각 층을 전역 유도 점을 가진 가우시안 프로세스로 간주함으로써 DGPs로의 확장을 통해 BNNs와 DGPs 간의 추론을 통합한다.

실험 결과

연구 질문

• RQ1 입력층에서 시작하여 전파되는 전역 유도 점 전략이 국소적이고 층 별로 유도되는 점보다 베이지안 신경망에서 후행분포 근사에 더 나은 성능을 보일 수 있는가?
• RQ2 후행분포 내에서 층 간 상관관계를 모델링하면 딥 모델의 예측 성능와 불확실성 캘리브레이션에 어떤 영향을 미치는가?
• RQ3 동일한 변분 후행분포 구조가 베이지안 신경망과 딥 가우시안 프로세스 양쪽 모두에 효과적으로 적용될 수 있는가? 이를 통해 통합된 추론 프레임워크를 구현할 수 있는가?
• RQ4 이 방법은 특히 CIFAR-10과 같은 이미지 분류 벤치마크에서 온도 조정 없이 데이터 증강 없이도 어떤 성능을 보이는가?

주요 결과

• 제안된 방법은 데이터 증강 또는 온도 조정 없이도 CIFAR-10에서 86.7%의 테스트 정확도를 달성하여, 데이터 증강 없이도 변분 방법 중 최고 성능을 기록한다.
• 딥 가우시안 프로세스에서 표준 국소 유도 점 접근법보다 우수한 성능을 보이며, 에너지, 해군, 파wr 등 여러 회귀 데이터셋에서 유의미하게 높은 ELBO를 달성한다.
• 에너지 데이터셋에서 전역 유도 점 방법은 ELBO 1.48을 기록한 반면, 국소 유도 점 방법은 1.47을 기록하여 일관된 향상을 입증한다.
• 해군 데이터셋에서는 깊이 2일 때 전역 유도 점 방법이 ELBO 3.89를 기록한 반면, 국소 유도 점 방법은 3.01을 기록하여 모델링 능력 향상이 뚜렷하게 나타난다.
• 단백질 및 와인과 같은 회귀 과제에서 낮은 음의 로그우도 값으로 인해 강력한 불확실성 캘리브레이션을 유지함을 입증한다.
• 이 방법은 BNNs와 DGPs 모두에 대한 통합된 추론 프레임워크를 가능하게 하여, 동일한 후행분포 구조가 두 모델 유형 모두에 효과적으로 적용되며 일관된 성능 향상을 이끌어낸다.