[논문 리뷰] URSABench: Comprehensive Benchmarking of Approximate Bayesian Inference Methods for Deep Neural Networks

Meet P. Vadera, Adam D. Cobb외 2명|arXiv (Cornell University)|2020. 07. 08.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

URSABench는 딥 뉴럴 네트워크에서 근사 베이지안 추론 방법을 평가하기 위한 오픈소스 벤치마크 프레임워크로, 불확실성 정량화, 내성적 안정성, 확장성 및 정확도에 중점을 둡니다. CIFAR-10, CIFAR-100 및 OOD 데이터셋을 통해 SGLD, SGHMC, SWAG, MC 드롭아웃 등의 방법을 평가한 결과, cSGLD와 cSGHMC가 정확도 저하를 최소화하면서도 뛰어난 불확실성 캘리브레이션과 내성적 안정성을 확보했으며, SWAG와 MC 드롭아웃은 캘리브레이션과 의사결정 비용 간의 트레이드오프를 보였습니다.

ABSTRACT

While deep learning methods continue to improve in predictive accuracy on a wide range of application domains, significant issues remain with other aspects of their performance including their ability to quantify uncertainty and their robustness. Recent advances in approximate Bayesian inference hold significant promise for addressing these concerns, but the computational scalability of these methods can be problematic when applied to large-scale models. In this paper, we describe initial work on the development ofURSABench(the Uncertainty, Robustness, Scalability, and Accu-racy Benchmark), an open-source suite of bench-marking tools for comprehensive assessment of approximate Bayesian inference methods with a focus on deep learning-based classification tasks

연구 동기 및 목표

• 딥 러닝에서 근사 베이지안 추론 방법에 대한 종합적이고 표준화된 평가의 부족을 해결하기 위해.
• 불확실성 정량화, 내성적 안정성, 확장성 및 예측 정확도를 고려해 다수의 방법을 평가하는 통합 벤치마크 프레임워크를 개발하기 위해.
• 표준 딥 러닝 벤치마크에서 베이지안 딥 러닝 방법 간의 공정하고 재현 가능한 비교를 가능하게 하기 위해.
• 불확실성과 내성적 안정성이 핵심적인 실세계 적용 분야에서 가장 효과적인 방법을 연구자들이 식별할 수 있도록 지원하기 위해.

제안 방법

• URSABench는 딥 뉴럴 네트워크 분류 작업에서 베이지안 추론 방법을 벤치마킹하기 위한 파이토치 기반 오픈소스 프레임워크를 구현합니다.
• 일관된 평가를 위해 표준화된 데이터셋(CIFAR-10, CIFAR-100, SVHN, STL-10)과 모델 아키텍처(예: WideResNet28x10)를 포함합니다.
• 다양한 근사 베이지안 추론 방법을 평가합니다: SGLD, SGHMC, cSGLD, cSGHMC, SWAG, MC 드롭아웃, 그리고 후행 분포 근사에 대한 PCA + ESS (SI).
• 정확도(↑), 음의 로그우도(↓), 기대 캘리브레이션 오차(ECE)(↓), 베이지안 놀라움(BS)(↓), 의사결정 비용(↓), OOD 및 오분류 탐지에 대한 AUROC와 AUCPR 등의 평가 지표 세트를 적용합니다.
• 몬테카를로 샘플링과 서rogate 후행 분포 근사 방법을 사용하여 후행 예측 분포와 불확실성 정량화를 추정합니다.
• 다양한 지표와 데이터셋을 통해 결과를 보고하여 불확실성 캘리브레이션, 내성적 안정성 및 계산 효율성 간의 트레이드오프를 평가합니다.

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 딥 뉴럴 네트워크의 근사 베이지안 추론 방법 중 어느 것이 가장 정확한 불확실성 추정을 제공하는가?
• RQ2 다양한 베이지안 방법은 OOD 입력과 오분류된 샘플을 탐지하는 데 얼마나 효과적인가?
• RQ3 베이지안 딥 러닝 방법 간의 예측 정확도, 불확실성 캘리브레이션, 계산 비용 간의 트레이드오프는 어떠한가?
• RQ4 cSGLD와 cSGHMC는 MC 드롭아웃 및 SWAG와 같은 표준 기준 방법과 비교해 내성적 안정성과 의사결정 신뢰성 측면에서 어떻게 비교되는가?
• RQ5 SWAG와 같은 서rogate 후행 분포 방법이나 SGLD와 같은 샘플링 기반 방법은 대규모 모델에 대해 확장성과 함께 불확실성 품질을 유지하는 데 얼마나 효과적인가?

주요 결과

• CIFAR-10에서 cSGLD는 정확도 96.7%와 ECE 0.006의 뛰어난 불확실성 캘리브레이션을 기록했으며 의사결정 비용 102.9로 SGHMC와 MC 드롭아웃을 모두 앞섰습니다.
• CIFAR-100에서 cSGLD는 83.2%의 정확도, ECE 0.033, 의사결정 비용 179.3을 기록했으며, SWAG(71.0% 정확도, ECE 0.110)와 MC 드롭아웃보다 뚜렷이 뛰어났습니다.
• cSGLD는 OOD 탐지 성능에서도 뛰어났으며, SVHN에서 AUROC-Model uncertainty 0.968, STL-10에서 0.846을 기록해 SWAG와 MC 드롭아웃을 압도했습니다.
• SGHMC와 SGLD는 오분류 탐지에서 뛰어난 성능을 보였습니다(AUCPR-Model: 0.439 및 0.435), 그러나 cSGHMC는 더 높은 불확실성 캘리브레이션 오차로 인해 성능이 열등했습니다.
• SWAG는 불확실성 캘리브레이션(0.110, CIFAR-100 기준)이 열악하고 의사결정 비용이 높아(316.9) 안전이 중요한 응용 분야에서 신뢰성이 떨어지는 것으로 나타났습니다.
• MC 드롭아웃은 불확실성 추정에서 경쟁력을 보였지만, CIFAR-10에서 의사결정 비용 149.0이 높고 cSGLD에 비해 OOD 탐지 성능이 열등했습니다.