[논문 리뷰] Bayesian Neural Networks: Essentials

Daniel T. Chang|arXiv (Cornell University)|2021. 06. 22.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 5

한 줄 요약

이 논문은 베이지안 신경망(BNNs)을 확률적 추론을 통해 가중치와 활성화에 대한 불확실성을 모델링하는 확률적 레이어를 통합함으로써 불확실성 인식 딥 러닝의 프레임워크로 제시한다. 텐서플로우 프로브래시티를 사용하여 BNNs가 근사 추론을 통해 표준 딥 네트워크를 어떻게 확장할 수 있는지 보여주며, 하이브리드 아키텍처를 통해 계산 비용을 줄이면서도 불확실성 정량화를 유지한다.

ABSTRACT

Bayesian neural networks utilize probabilistic layers that capture uncertainty over weights and activations, and are trained using Bayesian inference. Since these probabilistic layers are designed to be drop-in replacement of their deterministic counter parts, Bayesian neural networks provide a direct and natural way to extend conventional deep neural networks to support probabilistic deep learning. However, it is nontrivial to understand, design and train Bayesian neural networks due to their complexities. We discuss the essentials of Bayesian neural networks including duality (deep neural networks, probabilistic models), approximate Bayesian inference, Bayesian priors, Bayesian posteriors, and deep variational learning. We use TensorFlow Probability APIs and code examples for illustration. The main problem with Bayesian neural networks is that the architecture of deep neural networks makes it quite redundant, and costly, to account for uncertainty for a large number of successive layers. Hybrid Bayesian neural networks, which use few probabilistic layers judicially positioned in the networks, provide a practical solution.

연구 동기 및 목표

• 강력한 머신러닝을 위한 딥 뉴럴 네트워크에 불확실성 정량화를 통합하는 과제를 해결하기 위해.
• 결정론적 레이어의 즉각적인 대체로 사용할 수 있는 확률적 레이어를 활용한 베이지안 신경망 설계 및 훈련을 위한 실용적 프레임워크를 제공하기 위해.
• 딥 네트워크의 모든 레이어에 대해 전체 베이지안 추론을 적용할 경우 발생하는 계산 비효율성을 해결하기 위해.
• 선택적 확률적 레이어 적용을 통해 비용을 줄이면서도 불확실성 추정을 유지하는 하이브리드 베이지안 신경망의 효과성을 입증하기 위해.
• 딥 러닝과 확률적 모델링 사이의 격차를 베이지안 사전분포, 사후분포 및 변분 추론의 명확한 설명을 통해 메우기 위해.

제안 방법

• 점 추정 대신 가중치와 활성화 분포를 표현하는 확률적 레이어를 사용하여 불확실성 모델링을 가능하게 하기 위해.
• 변분 추론을 통한 근사 베이지안 추론을 사용하여 네트워크 가중치에 대한 사후분포를 최적화하기 위해.
• 확장 가능한 추론을 위한 BNN 구현 및 훈련을 위해 텐서플로우 프로브래시티 API를 활용하기 위해.
• 인덕티브 바이어스와 사전 지식을 표현하기 위해 네트워크 가중치에 베이지안 사전분포를 적용하기 위해.
• 변분 사후분포와 모델 가능도를 동시에 최적화하기 위해 심층 변분 학습을 구현하기 위해.
• 계산 오버헤드를 줄이기 위해 일부 레이어에만 확률적 레이어를 전략적으로 배치한 하이브리드 BNN을 설계하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 베이지안 신경망을 효과적으로 설계하고 훈련하여 딥 러닝 모델에 불확실성을 통합할 수 있는가?
• RQ2 신뢰할 수 있는 불확실성 추정을 가능하게 하는 핵심 구성요소들—예를 들어 사전분포, 사후분포 및 추론 방법—는 무엇인가?
• RQ3 전체 베이지안 추론의 계산 비용은 깊이 있는 네트워크 아키텍처에서 어떻게 증가하는가? 그리고 가능한 대안은 무엇인가?
• RQ4 희소한 확률적 레이어를 적용한 하이브리드 베이지안 신경망은 계산 부담을 줄이면서도 불확실성 캘리브레이션을 어느 정도 유지할 수 있는가?
• RQ5 텐서플로우 프로브래시티와 같은 현대적인 딥 러닝 프레임워크를 사용한 실용적 구현 전략은 어떻게 불확실성 인식 BNN 훈련을 접근 가능하고 효율적으로 만들 수 있는가?

주요 결과

• 확률적 레이어를 사용하여 결정론적 네트워크의 즉각적인 대체로 베이지안 신경망을 가중치와 활성화에 대한 불확실성을 모델링할 수 있다.
• 변분 추론을 통한 근사 베이지안 추론은 불확실성 정량화를 유지하면서도 BNN의 스케일러블한 훈련을 가능하게 한다.
• 베이지안 사전분포의 사용은 사전 지식의 통합과 정규화를 가능하게 하여 일반화 성능을 향상시킨다.
• 특정 레이어에만 확률적 레이어를 적용하는 하이브리드 베이지안 신경망은 계산 비용을 크게 줄이면서도 효과적인 불확실성 추정을 유지한다.
• 텐서플로우 프로브래시티는 베이지안 신경망을 구현하고 실험하기 위한 실용적이고 접근 가능한 API를 제공한다.
• 이 프레임워크는 표준 딥 러닝 파이프라인에 최소한의 아키텍처 변경으로도 엔드 투 엔드 불확실성 인식 딥 러닝을 가능하게 한다.