[논문 리뷰] Predictive Uncertainty Quantification with Compound Density Networks

Agustinus Kristiadi, Däubener, Sina외 1명|arXiv (Cornell University)|2019. 02. 04.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 11

한 줄 요약

이 논문은 유한한 성분 수를 가지는 Mixture Density Networks를 일반화하기 위해 신경망을 사용하여 구성 분포와 가변적이고 입력 기반의 혼합 가중치를 파arameter화하는 연속적이고 입력 의존적인 혼합 모델인 Compound Density Networks(CDNs)를 소개한다. CDNs는 특히 FGSM 공격 하에서 베이지안 신경망과 딥 앙상블보다 예측 불확실성 정량화와 적대적 예측에 대한 강건성에서 뛰어난 성능을 보이며, 변분 베이지안 훈련을 통해 예측 엔트로피 증가를 통해 분포 외(out-of-distribution, OOD) 및 적대적 입력을 탐지할 수 있다.

ABSTRACT

Despite the huge success of deep neural networks (NNs), finding good mechanisms for quantifying their prediction uncertainty is still an open problem. Bayesian neural networks are one of the most popular approaches to uncertainty quantification. On the other hand, it was recently shown that ensembles of NNs, which belong to the class of mixture models, can be used to quantify prediction uncertainty. In this paper, we build upon these two approaches. First, we increase the mixture model's flexibility by replacing the fixed mixing weights by an adaptive, input-dependent distribution (specifying the probability of each component) represented by NNs, and by considering uncountably many mixture components. The resulting class of models can be seen as the continuous counterpart to mixture density networks and is therefore referred to as compound density networks (CDNs). We employ both maximum likelihood and variational Bayesian inference to train CDNs, and empirically show that they yield better uncertainty estimates on out-of-distribution data and are more robust to adversarial examples than the previous approaches.

연구 동기 및 목표

• 딥 신경망에서 신뢰할 수 있는 예측 불확실성 정량화 문제, 특히 분포 외(OOD) 및 적대적 입력에 대해 해결하는 것.
• 베이지안 신경망과 딥 앙상블과 같은 기존 방법을 넘어서 더 유연한 연속 혼합 모델 아키텍처를 도입함으로써 성능을 향상시키는 것.
• 연속적이고 입력 의존적인 예측 분포 혼합을 통해 지식 불확실성(epistemic)과 악성 불확실성(aleatoric)을 동시에 포착하는 프레임워크를 개발하는 것.
• 예측 불확실성의 강건성과 최신 기준 대비 성능을 평가하는 것.

제안 방법

• CDNs는 구성 분포의 수가 가산 불가능한 무한대에 이르는 연속적 혼합으로 예측 분포를 모델링하며, 이는 하이퍼넷이 모델 파라미터 분포를 출력하는 방식으로 파arameter화된다.
• 혼합 분포는 입력에 따라 달라지며 신경망을 통해 모델링되어 입력 맥락에 따라 구성 성분의 가중치를 적응적으로 조정할 수 있다.
• 최대우도 훈련은 CDN 프레임워크 하에서 예측 분포의 로그우도를 최적화함으로써 수행된다.
• 변분 베이지안 추론을 적용하여 CDN 파라미터에 대한 사후분포를 학습함으로써 모델 가중치와 예측에 대한 불확실성 정량화가 가능해진다.
• 하이퍼넷을 사용하여 입력 조건에 따라 예측 네트워크의 파라미터(예: 평균 및 분산)를 생성함으로써, 입력 기반의 민감한 불확실성 추정이 가능해진다.
• 프레임워크는 피드포워드 네트워크에 적용되었으며, MNIST, Fashion-MNIST, CIFAR-10에서 FGSM 적대적 예제와 OOD 데이터를 사용해 평가되었다.

실험 결과

연구 질문

• RQ1 연속적이고 입력 의존적인 혼합 모델은 이산 혼합 모델 및 베이지안 기준 모델 대비 딥 신경망에서 불확실성 정량화를 향상시킬 수 있는가?
• RQ2 CDNs는 예측 엔트로피 증가를 통해 분포 외 입력을 탐지하는 데 얼마나 효과적인가?
• RQ3 특히 FGSM 공격 하에서 CDNs는 적대적 예측에 대해 얼마나 강건한가?
• RQ4 CDNs의 변분 베이지안 훈련은 지식 불확실성 추정을 향상시키고 분포 이탈 탐지 성능을 향상시키는가?

주요 결과

• ML-CDN은 1.0 이하의 노이즈 강도를 가진 적대적 MNIST 예제에서 모든 기준 모델보다 유의미하게 높은 정확도를 기록했으며, 예측 엔트로피는 점차 증가하는 경향을 보였다.
• VB-CDN은 OOD 데이터를 추가로 학습 중에 사용하지 않아도 MNIST 및 Fashion-MNIST에서 딥 확률적 네트워크(DPN) 기준 모델의 불확실성 추정 수준을 맞추거나 초월했으며, 더 높은 정확도를 달성했다.
• ML-CDN과 VB-CDN 모두 적대적 공격에 대해 강력한 강건성을 보였다: 각 훈련 반복에서 10단계의 기울기 계산을 수행할 경우, 강력한 FGSM 노이즈 공격 하에서도 70% 이상의 정확도를 유지했다.
• 다중 정방향-역방향 전파를 통해 생성된 적대적 예제(더 강력한 공격)에 대해서도 CDNs의 성능 저하는 미미하게 유지되어 매우 높은 강건성을 보였다.
• CIFAR-10에서 VB-CDN은 경쟁 가능한 성능을 기록하여 이 방법의 복잡한 비전 벤치마크로의 확장 가능성도 입증했다.
• CDNs는 OOD 데이터에서 효과적으로 불확실성을 포착했으며, 분포 외 샘플에서는 높은 엔트로피를 보였고, 분포 내 입력에는 여전히 높은 신뢰도를 유지했다.