[논문 리뷰] Uncertainty Estimations by Softplus normalization in Bayesian Convolutional Neural Networks with Variational Inference

Kumar Shridhar, Felix Laumann외 1명|arXiv (Cornell University)|2018. 06. 15.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 60

한 줄 요약

이 논문은 변분 추정을 통해 학습된 베이지안 CNN에서 aleatoric 및 epistemic 불확실성을 추정하기 위한 Softplus 정규화 기법을 제안하고, MNIST, CIFAR-10, CIFAR-100에서 여러 아키텍처에 걸친 불확실성 추정치를 보인다.

ABSTRACT

We introduce a novel uncertainty estimation for classification tasks for Bayesian convolutional neural networks with variational inference. By normalizing the output of a Softplus function in the final layer, we estimate aleatoric and epistemic uncertainty in a coherent manner. The intractable posterior probability distributions over weights are inferred by Bayes by Backprop. Firstly, we demonstrate how this reliable variational inference method can serve as a fundamental construct for various network architectures. On multiple datasets in supervised learning settings (MNIST, CIFAR-10, CIFAR-100), this variational inference method achieves performances equivalent to frequentist inference in identical architectures, while the two desiderata, a measure for uncertainty and regularization are incorporated naturally. Secondly, we examine how our proposed measure for aleatoric and epistemic uncertainties is derived and validate it on the aforementioned datasets.

연구 동기 및 목표

• CNN에서 모델 신뢰도를 표현하고 학습을 정규화하기 위한 불확실성 정량화의 필요성에 대한 동기부여.
• 가중치의 평균과 분산을 학습하기 위해 두 개의 컨볼루션 연산을 사용하는 Bayes by Backprop 기반의 Bayesian CNN 프레임워크를 개발.
• 소프트맥스 불일치를 피하기 위해 Softplus 정규화를 도입하여 aleatoric 및 epistemic 불확실성을 추정.
• 표준 데이터셋에서 규제 효과와 함께 Variational Bayesian CNN이 경쟁력 있는 정확도를 달성함을 입증.
• 아키텍처와 데이터셋 간의 불확실성 추정의 경험적 분석을 제공.

제안 방법

• 가중치 후방 확률을 가우시안 변분 분포로 근사하여 CNN에 Bayes by Backprop를 적용.
• 필터당 평균(μ)와 분산(αμ^2)을 학습하기 위해 두 개의 순차적 컨볼루션 연산을 사용.
• 효율성을 위해 가중치가 아닌 활성화를 샘플링하기 위해 로컬 재매개변수를 사용.
• 예측 불확실성 계산에 Softmax 기반 추정 대신 Softplus 정규화를 도입.
• qθ(w|D)를 통한 몬테카를로 샘플링으로 aleatoric과 epistemic 구성요소로 예측 분산 분해.
• MNIST, CIFAR-10, CIFAR-100에서 학습된 LeNet-5, AlexNet, VGG 아키텍처로 평가.

실험 결과

연구 질문

• RQ1 Bayes by Backprop 기반 변분 CNN이 표준 벤치마크에서 빈도주의 CNN과 비교하여 경쟁력 있는 분류 정확도를 제공할 수 있는가?
• RQ2 출력 계층의 Softmax 활성화 없이 CNN에서 aleatoric 및 epistemic 불확실성을 일관되게 추정할 수 있는가?
• RQ3 Softplus 정규화가 이미지 분류 벤치마크에서 견고하고 잘 보정된 예측 불확실성을 제공하는가?
• RQ4 다양한 아키텍처와 데이터셋에서 모델 정확도와 epistemic 불확실성 사이의 관계는 무엇인가?
• RQ5 데이터셋 특성(MNIST 대 CIFAR)이 추정된 aleatoric 불확실성에 어떤 영향을 미치는가?

주요 결과

• 변분 추론을 갖춘 Bayesian CNN은 MNIST, CIFAR-10, CIFAR-100에서 검증 정확도가 빈도주의 대응 모델과 비교 가능한 것으로 나타났다.
• Softplus 정규화는 Softmax 불일치를 유발하지 않고 불확실성 추정을 가능하게 하며 aleatoric 및 epistemic 불확실성 추정치를 제공한다.
• Aleatoric 불확실성은 데이터세트에 의존적이며 주어진 데이터세트에 대해 모델 간에 대체로 일정한 편이다; epistemic 불확실성은 검증 정확도가 향상될수록 감소하는 경향이 있다.
• 아키텍처 전반에서 더 높은 검증 정확도가 더 낮은 epistemic 불확실성과 상관관계가 있어 모델로부터의 불확실성 감소를 시사한다.
• Softplus 정규화는 추가된 Gaussian 픽셀 노이즈 하에서도 불확실성 추정이 안정적으로 나타나며, 입력 섭동에 대한 aleatoric 불확실성의 강건성을 시사한다.