[논문 리뷰] Bayesian Convolutional Neural Networks

Felix Laumann, Kumar Shridhar|arXiv (Cornell University)|2018. 06. 15.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 15

한 줄 요약

이 논문은 분류 작업에서 애자일러틱 및 엡스티믹 불확실성을 동시에 추정할 수 있도록, 정규화된 소프트플러스 출력을 사용한 변분 추론을 적용한 베이지안 컬러레이션 신경망을 제안한다. 이는 MNIST, CIFAR-10, CIFAR-100에서 빈도주의 모델과 경쟁 가능한 성능을 달성하면서도 자연스럽게 불확실성 측정 및 정규화를 통합한다.

ABSTRACT

We introduce a novel uncertainty estimation for classification tasks for Bayesian convolutional neural networks with variational inference. By normalizing the output of a Softplus function in the final layer, we estimate aleatoric and epistemic uncertainty in a coherent manner. The intractable posterior probability distributions over weights are inferred by Bayes by Backprop. Firstly, we demonstrate how this reliable variational inference method can serve as a fundamental construct for various network architectures. On multiple datasets in supervised learning settings (MNIST, CIFAR-10, CIFAR-100), this variational inference method achieves performances equivalent to frequentist inference in identical architectures, while the two desiderata, a measure for uncertainty and regularization are incorporated naturally. Secondly, we examine how our proposed measure for aleatoric and epistemic uncertainties is derived and validate it on the aforementioned datasets.

연구 동기 및 목표

• 통합된 프레임워크 내에서 신뢰할 수 있는 변분 추론 방법을 개발하여, 일관된 불확실성 추정을 가능하게 한다.
• 단일 딥러닝 프레임워크 내에서 애자일러틱 및 엡스티믹 불확실성 추정을 자연스럽게 통합한다.
• 제안된 방법이 표준(빈도주의) 모델과 동일한 성능을 보임을 표준 비전 벤치마크에서 입증한다.
• 실제 데이터셋인 MNIST, CIFAR-10, CIFAR-100에서의 불확실성 추정을 검증한다.

제안 방법

• 이 방법은 네트워크 가중치에 대한 불가항적 사후분포를 근사하기 위해 베이즈-바이-백프로프를 활용한다.
• 최종 레이어에 정규화된 소프트플러스 함수를 적용하여 校정된 불확실성 추정을 생성한다.
• 애자일러틱 불확실성은 소프트플러스 출력의 스케일을 통해 데이터 기반 노이즈를 캡처한다.
• 엡스티믹 불확실성은 변분 추론을 통해 추정된 가중치 사후분포의 분산으로부터 유도된다.
• 정규화는 예측 신뢰도 수준에 관계없이 안정적이고 일관된 불확실성 校정을 보장한다.
• 이 프레임워크는 여러 아키텍처에 적용되어 다양한 네트워크 설계에서의 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 베이지안 CNN에서의 변분 추론이 통합된 프레임워크 내에서 애자일러틱 및 업스티믹 불확실성을 신뢰성 있게 추정할 수 있는가?
• RQ2 제안된 불확실성 추정 방법이 이미지 분류 작업에서 표준(빈도주의) 모델과 동일한 성능을 유지하는가?
• RQ3 추정된 불확실성은 벤치마크 데이터셋에서 실제 예측 신뢰도와 얼마나 잘 상관되는가?
• RQ4 이 방법은 성능 저하 없이 다양한 네트워크 아키텍처로 일반화 가능한가?

주요 결과

• 제안된 베이지안 CNN은 MNIST, CIFAR-10, CIFAR-100에서 표준(빈도주의) 모델과 동일한 분류 성능을 달성한다.
• 변분 사후분포를 통한 자연스러운 정규화가 구현되어 추가 하이퍼파rameter 없이 일반화 성능 향상이 가능하다.
• 애자일러틱 및 업스티믹 불확실성은 일관되게 추정되며, 모든 테스트 데이터셋에서 잘 校정되어 있다.
• 정규화된 소프트플러스 출력은 불확실성 추정의 안정성을 보장하여 예측의 과도한 자신감을 방지한다.