[논문 리뷰] On the Validity of Bayesian Neural Networks for Uncertainty Estimation

John Mitros, Brian Mac Namee|arXiv (Cornell University)|2019. 12. 03.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 23

한 줄 요약

이 논문은 불확실성 추정을 위해 베이지안 신경망(BNNs)을 표준 점추정 딥신경망(DNNs)과 비교하여 평가하며, BNNs가 더 잘 校정된 예측을 제공하고 분포 외 샘플을 더 잘 탐지할 수 있음을 입증한다. 다양한 아키텍처와 데이터셋을 사용하여 BNNs는 보정 오차를 일관되게 감소시키고, 내부 및 외부 분포 예측 간의 대칭 KL 발산을 증가시켜 불확실성 정량화 능력 향상을 나타낸다.

ABSTRACT

Deep neural networks (DNN) are versatile parametric models utilised successfully in a diverse number of tasks and domains. However, they have limitations---particularly from their lack of robustness and over-sensitivity to out of distribution samples. Bayesian Neural Networks, due to their formulation under the Bayesian framework, provide a principled approach to building neural networks that address these limitations. This paper describes a study that empirically evaluates and compares Bayesian Neural Networks to their equivalent point estimate Deep Neural Networks to quantify the predictive uncertainty induced by their parameters, as well as their performance in view of this uncertainty. In this study, we evaluated and compared three point estimate deep neural networks against comparable Bayesian neural network alternatives using two well-known benchmark image classification datasets (CIFAR-10 and SVHN).

연구 동기 및 목표

• 베이지안 신경망(BNNs)이 표준 점추정 딥신경망(DNNs)보다 더 신뢰할 수 있고 校정된 불확실성 추정을 제공하는지 조사하기.
• DNNs와 BNNs가 불확실성 정량화를 통해 분포 외(OoD) 샘플을 탐지할 능력을 평가하기.
• 표준 및 베이지안 딥러닝 프레임워크에서 모델 정확도와 보정 성능 간의 트레이드오프 평가하기.
• 몬테카를로 드롭아웃, SWAG, 변분 추론을 포함한 다양한 BNN 근사 방법 간의 불확실성 추정 및 내구성에서의 비교하기.

제안 방법

• SGD와 소프트맥스 출력을 사용해 점추정 분류를 위한 표준 DNNs를 훈련하며, 신뢰도 점수는 정규화된 지수형 로짓에서 유도된다.
• 세 가지 베이지안 신경망 방법을 적용: 몬테카를로 드롭아웃(MC Dropout), SWAG(앙상블 기반 근사 posterior), 및 가중치 분포를 통한 변분 추론.
• 예측의 신뢰도 보정을 측정하기 위해 기대 보정 오차(ECE)와 신뢰도 다이어그램을 사용한다.
• 내부 분포 및 분포 외 샘플의 신뢰도 분포 간의 대칭 KL 발산과 분포 엔트로피를 사용해 OoD 탐지 성능을 평가한다.
• CIFAR-10, SVHN, FashionMNIST 데이터셋을 두 개의 5클래스 서브셋으로 나누어 내부 분포(훈련) 및 분포 외(테스트) 시나리오를 시뮬레이션한다.
• 클래스 신뢰도 분포의 엔트로피를 통해 불확실성 측정하고, 대칭 KL 발산을 사용해 내부 및 분포 외 집합 간 분포를 비교한다.

실험 결과

연구 질문

• RQ1 베이지안 신경망(BNNs)은 표준 점추정 딥신경망(DNNs)보다 더 잘 校정된 불확실성 추정을 제공하는가?
• RQ2 베이지안 신경망은 더 높은 예측 불확실성으로 분포 외 샘플을 더 효과적으로 식별할 수 있는가?
• RQ3 몬테카를로 드롭아웃, SWAG, 변분 추론을 포함한 다양한 베이지안 근사 방법 간의 보정 및 OoD 탐지 성능에서의 비교는 어떠한가?
• RQ4 DNNs와 BNNs에서 모델 정확도와 보정 성능 간의 트레이드오프가 존재하는가?
• RQ5 모델 복잡도가 점추정 DNNs에서 보정 오차 증가와 관련이 있으며, BNNs가 이를 완화할 수 있는가?

주요 결과

• 점추정 DNNs는 높은 보정 오차를 보이며(예: VGG16-SGD가 CIFAR-10에서 ECE 0.0677), 높은 정확도에도 불구하고 낮은 신뢰도 보정을 나타낸다.
• 베이지안 신경망(BNNs)은 기대 보정 오차를 크게 감소시킨다: WideResNet28x10-SWAG는 CIFAR-10에서 ECE 0.0098을 기록하여 모든 모델 중 최저 수준이다.
• PreResNet164-MC Dropout 및 WideResNet28x10-SWAG와 같은 BNNs는 내부 및 분포 외 분포 예측 간의 대칭 KL 발산이 높아(예: SVHN에서 6.27), 더 나은 OoD 탐지 능력을 나타낸다.
• VGG16-SGD와 VGG16-MC Dropout은 각각 SVHN에서 대칭 KL 발산 5.64와 6.27을 기록하여 일부 경우에서 많은 BNN 변종을 초월하지만, 전반적으로 BNNs는 더 일관된 성능을 보인다.
• SWAG 기반 BNNs(예: WideResNet28x10-SWAG)는 최저 ECE(0.0098)와 높은 OoD 탐지 점수(3.65, SVHN 기준)를 기록하여 보정 및 불확실성 정량화 양면에서 뛰어난 성능을 보였다.
• 딥 가우시안 프로세스는 비-DNN 기준선으로서 낮은 보정 성능(ECE = 0.1418)과 약한 OoD 탐지 능력(기본 CIFAR-10에서 대칭 KL = 0.80)을 보였으며, 베이지안 추론을 통한 딥신경망 아키텍처의 우수성을 입증한다.