[논문 리뷰] A Primer on Bayesian Neural Networks: Review and Debates

Julyan Arbel, Konstantinos Pitas외 2명|arXiv (Cornell University)|2023. 09. 28.

Adversarial Robustness in Machine Learning참고 문헌 250인용 수 14

한 줄 요약

이 논문은 베이지안 신경망에 대한 접근 가능한, 포괄적인 입문서로서 기본원리, 사전분포, 근사 추론, 그리고 현재의 논쟁들을 다룬다.

ABSTRACT

Neural networks have achieved remarkable performance across various problem domains, but their widespread applicability is hindered by inherent limitations such as overconfidence in predictions, lack of interpretability, and vulnerability to adversarial attacks. To address these challenges, Bayesian neural networks (BNNs) have emerged as a compelling extension of conventional neural networks, integrating uncertainty estimation into their predictive capabilities. This comprehensive primer presents a systematic introduction to the fundamental concepts of neural networks and Bayesian inference, elucidating their synergistic integration for the development of BNNs. The target audience comprises statisticians with a potential background in Bayesian methods but lacking deep learning expertise, as well as machine learners proficient in deep neural networks but with limited exposure to Bayesian statistics. We provide an overview of commonly employed priors, examining their impact on model behavior and performance. Additionally, we delve into the practical considerations associated with training and inference in BNNs. Furthermore, we explore advanced topics within the realm of BNN research, acknowledging the existence of ongoing debates and controversies. By offering insights into cutting-edge developments, this primer not only equips researchers and practitioners with a solid foundation in BNNs, but also illuminates the potential applications of this dynamic field. As a valuable resource, it fosters an understanding of BNNs and their promising prospects, facilitating further advancements in the pursuit of knowledge and innovation.

연구 동기 및 목표

• 베이지안 신경망을 소개하고 딥러닝에서 불확실성 추정의 필요성을 동기 부여한다.
• BNN에서의 사전분포, 가능도, 그리고 사후 추론의 핵심 개념을 검토한다.
• 변분 추론, 라플레이스 근사, 샘플링을 포함한 실용적 학습 및 추론 방법을 논의한다.
• 베이지안과 빈도주의 관점 간의 연결 및 모델 평가의 이슈를 고찰한다.
• 사전분포, 보정(calibration), 일반화 등 BNN의 열린 논쟁과 미래 방향을 강조한다.

제안 방법

• 불확실성 정량화를 위한 신경망 기초와 베이지안 패러다임을 정의한다.
• BNN에서의 가중치/단위 사전분포, 정규화, 그리고 함수 공간 관점을 고찰한다.
• 변분 추론, 라플레이스 근사, 샘플링 방법 등 근사 추론 기법을 다룬다.
• 베이지안 관점을 통해 모델 선택, 학습 체계, 보정을 논의한다.
• 베이지안 방법을 빈도주의 개념 및 불확실성 인증으로서의 앙상블과 연결한다.

Figure 2: Example of using the linear regression (left) and $k$ -nearest neighbours regression (right) models on simulated data points.

실험 결과

연구 질문

• RQ1 베이지안 신경망에서 사용되는 기본 개념과 사전분포는 무엇이며 이것들이 모델 동작에 어떻게 영향을 미치는가?
• RQ2 VI, 라플레이스, 샘플링을 포함하여 신경망에서 베이지안 추론을 어떻게 실질적으로 수행할 수 있는가?
• RQ3 BNN에서 베이지안 관점과 빈도주의 관점의 관계는 무엇이며 이것이 평가 및 일반화에 어떤 영향을 미치는가?
• RQ4 BNN의 사전분포, 학습, 불확실성 정량화에 관한 주요 열린 논쟁과 과제는 무엇인가?

주요 결과

• BNNs는 사전분포와 베이지안 추론을 결합하여 신경망에 불확실성 추정을 통합한다.
• 변분 추론, 라플레이스 근사, 샘플링 기법 등을 포함한 여러 근사 추론 방법이 논의된다.
• 이 기초서는 베이지안 방법을 빈도주의 검증, 사후 집중, 모델 선택 개념과 연결한다.
• 모델 동향을 형성하는 사전분포의 역할과 선택 및 영향에 관한 지속적인 논쟁을 강조한다.
• 딥러닝의 일반화와 과적합을 다루고 이중 하강(double-descent)과 보정(calibration)과 같은 개념을 BNN에서의 필수 이슈로 논의한다.