[논문 리뷰] Known Unknowns: Uncertainty Quality in Bayesian Neural Networks

Ramón de Oliveira, Pedro Tabacof외 1명|arXiv (Cornell University)|2016. 12. 05.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 4

한 줄 요약

이 논문은 베이지안 신경망에서 불확실성 추정을 위한 계산적으로 효율적인 방법인 One-Sample Bayesian Approximation(이하 OSBA)을 제안한다. 각 미니배치당 한 번의 가중치 행렬 샘플링을 통해 예측값마다 별도로 샘플링하지 않음으로써, 표준 변분 추론과 유사한 불확실성 품질을 달성하면서도 약 10배의 속도 향상을 이룬다. 이는 MNIST 및 CIFAR10에서 이상 탐지 AUC 점수에서 최대우도 추정법보다 뛰어나고, 베이지안 드롭아웃과 동등한 성능을 보이며, 특히 계산 비용을 크게 줄여 실용적인 응용에 매우 유망하다.

ABSTRACT

We evaluate the uncertainty quality in neural networks using anomaly detection. We extract uncertainty measures (e.g. entropy) from the predictions of candidate models, use those measures as features for an anomaly detector, and gauge how well the detector differentiates known from unknown classes. We assign higher uncertainty quality to candidate models that lead to better detectors. We also propose a novel method for sampling a variational approximation of a Bayesian neural network, called One-Sample Bayesian Approximation (OSBA). We experiment on two datasets, MNIST and CIFAR10. We compare the following candidate neural network models: Maximum Likelihood, Bayesian Dropout, OSBA, and --- for MNIST --- the standard variational approximation. We show that Bayesian Dropout and OSBA provide better uncertainty information than Maximum Likelihood, and are essentially equivalent to the standard variational approximation, but much faster.

연구 동기 및 목표

• 신경망에서의 불확실성 추정 품질을 이상 탐지 결과를 대체 지표로 사용하여 평가하기 위해.
• 표준 변분 추론의 계산 비용을 줄인 효율적인 대안을 개발하기 위해.
• 최대우도 추정법, 베이지안 드롭아웃, 표준 변분 추론, 그리고 제안된 OSBA 방법 간의 불확실성 품질을 비교하기 위해.
• 특히 MNIST 및 CIFAR10처럼 의미적 겹침이 있는 데이터셋에서 클래스 간 분리도가 불확실성 품질에 미치는 영향을 평가하기 위해.
• 향상된 불확실성 품질이 예측 정확도 향상 때문이 아니라, 더 나은 확률적 校정(Probabilistic Calibration) 때문임을 입증하기 위해.

제안 방법

• 각 미니배치당 한 번의 가중치 행렬 샘플링을 수행하고, 그 결과를 배치 내 모든 예측에 재사용하는 One-Sample Bayesian Approximation(이하 OSBA)를 제안한다.
• Blundell 등(2015)의 변분 추론 프레임워크를 그대로 사용하지만, 개별 데이터 포인트별로 가중치 샘플링을 분리함으로써 계산 비용을 감소시킨다.
• 모델 출력에서 유도된 불확실성 측정치(예: 예측 엔트로피)를 특징으로 사용하여 선형 이상 탐지기(Anomaly Detector)를 구축한다.
• 이상 탐지기의 학습은 알려진 클래스(In)와 알려지지 않은 클래스(Out)를 구분하도록 하며, 불확실성 품질 평가 지표로 AUC를 사용한다.
• 두 가지 실험 프로토콜을 적용한다: Blind(학습 중에 알려지지 않은 클래스 없음) 및 Calibrated(학습 중에 균일한 레이블을 가진 알려지지 않은 클래스 사용).
• MNIST 및 CIFAR10에서 각각 100회 반복하여 In, Out, 그리고 Calibrated 조건에서는 Unknown 클래스를 무작위로 분할하여 평가한다.

실험 결과

연구 질문

• RQ1 이상 탐지는 신경망의 불확실성 품질을 측정하는 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ2 베이지안 신경망의 불확실성 품질은 최대우도 모델 대비 이상 탐지 성능에서 어떻게 비교되는가?
• RQ3 OSBA는 표준 변분 추론과 유사한 불확실성 품질을 확보하면서도 현저히 더 빠른가?
• RQ4 CIFAR10처럼 클래스 간 겹침이 있는 데이터셋에서 클래스 오버랩은 불확실성 품질 탐지 가능성에 어떤 영향을 미치는가?
• RQ5 향상된 불확실성 품질은 더 나은 예측 정확도 때문인가, 아니면 향상된 확률적 校정 때문인가?

주요 결과

• MNIST에서 베이지안 드롭아웃과 OSBA는 최대우도 추정법보다 유의미하게 높은 이상 탐지 AUC 점수를 기록하여 더 나은 불확실성 품질을 보였다.
• OSBA는 표준 변분 추론(SV)과 동등한 불확실성 품질을 확보하면서도 10배의 속도 향상을 이룩했으며, 이는 SV 대비 30배, 베이지안 드롭아웃 대비 3배의 빠른 학습 속도를 의미한다.
• CIFAR10에서는 클래스 경계가 더 모호하기 때문에, 다양한 모델 간 성능 차이가 통계적으로 유의미하지 않아, 불확실성 품질 측정 지표가 데이터셋의 의미적 특성에 민감함을 시사한다.
• Calibrated 프로토콜은 모델 선택보다 이상 탐지 AUC를 더 크게 향상시키지만, 인위적인 알려지지 않은 클래스 데이터가 필요하므로 현실성은 떨어진다.
• 모든 모델이 거의 동일한 테스트 정확도(예: MNIST에서 99.1%)를 기록하여, 향상된 불확실성 품질이 확률적 校정 향상 때문이며 정확도 향상 때문이 아니라는 점을 확인했다.
• OSBA는 계산 비용을 줄이면서도 높은 불확실성 품질을 유지하여, 실시간 및 실용적 응용에서 신뢰할 수 있는 빠른 불확실성 추정 방법으로 매우 유망하다.