[논문 리뷰] Prior choice affects ability of Bayesian neural networks to identify unknowns

Daniele Silvestro, Tobias Andermann|arXiv (Cornell University)|2020. 05. 11.

Adversarial Robustness in Machine Learning인용 수 16

한 줄 요약

이 연구는 베이지안 신경망(BNNs)에서 사전 분포가 분류 성능 및 불확실성 추정에 미치는 영향을 조사하며, 특히 분포 외(in-distribution) 인스턴스를 식별하는 데 중점을 둔다. MCMC 샘플링과 베이즈 요인을 사용하여 네 가지 사전 유형(균일, 정규, 라플라스, 절단된 코시)을 네 개의 데이터셋에 적용한 결과, 사전 선택이 진짜 양성도와 위양성도에 크게 영향을 미치며, 어떤 사전도 모든 데이터셋에서 일관되게 뛰어난 성능을 보이지 않는 것으로 나타났다.

ABSTRACT

Deep Bayesian neural networks (BNNs) are a powerful tool, though computationally demanding, to perform parameter estimation while jointly estimating uncertainty around predictions. BNNs are typically implemented using arbitrary normal-distributed prior distributions on the model parameters. Here, we explore the effects of different prior distributions on classification tasks in BNNs and evaluate the evidence supporting the predictions based on posterior probabilities approximated by Markov Chain Monte Carlo sampling and by computing Bayes factors. We show that the choice of priors has a substantial impact on the ability of the model to confidently assign data to the correct class (true positive rates). Prior choice also affects significantly the ability of a BNN to identify out-of-distribution instances as unknown (false positive rates). When comparing our results against neural networks (NN) with Monte Carlo dropout we found that BNNs generally outperform NNs. Finally, in our tests we did not find a single best choice as prior distribution. Instead, each dataset yielded the best results under a different prior, indicating that testing alternative options can improve the performance of BNNs.

연구 동기 및 목표

• 베이지안 신경망의 분류 작업에서 다양한 사전 분포의 영향을 평가하는 것.
• 사전 선택이 BNN이 올바른 내부 분포 예측에 대해 높은 신뢰도를 부여하는 능력(진짜 양성도)에 미치는 영향을 평가하는 것.
• 사전이 분포 외 인스턴스 탐지(위양성도)에 미치는 영향을 조사하는 것.
• 불확실성 정량화 및 예측 신뢰성 측면에서 BNN과 몬테카를로 드롭아웃 신경망 간의 비교.
• 다양한 데이터셋에서 단일 최적의 사전 분포가 존재하는지 여부 또는 성능이 데이터셋 특성에 따라 달라지는지 확인하는 것.

제안 방법

• 두 개의 은닉층과 ReLU 활성화 함수를 사용한 완전 연결 딥 신경망을 구현하고, 가중치의 사후 분포에서 샘플링하기 위해 MCMC(Metropolis-Hastings)를 사용하였다.
• 네 가지 사전 분포를 탐색: 균일 분포(U(−5,5)), 표준 정규 분포(N(0,1)), 라플라스 분포(Laplace(0,1)), 절단된 코시 분포(C(0,1) ±5에서 절단).
• 클래스 확률을 계산하기 위해 소프트맥스 출력층을 사용하고, 예측 평가에 사후 확률과 베이즈 요인을 활용하였다.
• 네 가지 다른 데이터셋(I–IV)의 부분집합을 사용하여 훈련하고, 하나 이상의 클래스를 분포 외 테스트 인스턴스로 제외하였다.
• 각 데이터셋에 대해 서로 다른 랜덤 부분집합을 사용하여 10회의 독립적인 실행을 수행하여 결과의 안정성과 변동성을 평가하였다.
• 고정된 입력에서 사전에서 샘플링하여 예측함으로써, 사전에 의해 유도된 클래스 불균형을 평가하기 위해 경험적 사전 확률을 계산하였다.

실험 결과

연구 질문

• RQ1 사전 분포 선택이 내부 분포 분류에서 BNN의 진짜 양성도에 어떤 영향을 미치는가?
• RQ2 사전 선택이 분포 외(알 수 없는) 인스턴스 탐지에서 위양성도에 얼마나 큰 영향을 미치는가?
• RQ3 다양한 사전이 사후 확률과 베이즈 요인으로 측정된 예측에 대한 통계적 지지도에 어떤 영향을 미치는가?
• RQ4 다른 사전을 사용한 BNN은 몬테카를로 드롭아웃을 적용한 표준 신경망과 정확도 및 불확실성 추정 측면에서 어떻게 비교되는가?
• RQ5 다양한 데이터셋에서 유일한 최적의 사전 분포가 존재하는가, 아니면 성능이 데이터셋 고유의 특성에 따라 달라지는가?

주요 결과

• 사전 선택은 BNN의 진짜 양성도에 크게 영향을 미치며, 동일한 데이터셋에서 다양한 사전에 따라 성능이 크게 달라진다.
• 데이터셋 I에서 절단된 코시 사전이 가장 높은 진짜 양성도(0.997)를 기록했고, 라플라스 사전은 데이터셋 II(0.575)와 데이터셋 IV(0.753)에서 최고 성능을 보였다.
• 분포 외 탐지에서 위양성도는 사전에 따라 크게 달라졌으며, 균일 사전은 데이터셋 IV에서 가장 낮은 위양성도(0.001)를 기록했고, 라플라스 사전은 가장 높은 위양성도(0.061)를 기록했다.
• BNN은 특히 알 수 없는 인스턴스 식별에서 표준 신경망에 비해 정확도와 불확실성 추정 모두에서 일관되게 뛰어난 성능을 보였다.
• 모든 데이터셋에서 최고의 성능을 내는 단일 사전 분포는 존재하지 않았으며, 각 데이터셋은 서로 다른 사전에서 최적의 성능를 기록했다.
• 모든 테스트 사전에서 클래스의 경험적 사전 확률이 불균형했으며, 이는 사전 분포가 데이터가 관찰되기 이전에도 클래스 할당에 체계적인 편향을 유도한다는 것을 시사한다.