[논문 리뷰] UQGAN: A Unified Model for Uncertainty Quantification of Deep Classifiers trained via Conditional GANs

Philipp Oberdiek, Gernot A. Fink외 1명|arXiv (Cornell University)|2022. 01. 31.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

UQGAN은 깊이 있는 이미지 분류기에서 동시 불확실성 정량화를 위한 통합적인 생성적 적대적 네트워크(GAN)-기반 프레임워크를 제안한다. 각 클래스의 조건부 GAN을 통해 외부 클래스 예제를 생성함으로써, 앨레아토릭 불확실성과 엡스테믹 불확실성을 구분한다. CIFAR10, CIFAR100, Tiny ImageNet에서 OoD 및 가짜 양성 검출 성능을 향상시키며, 모델 정확도를 높이고 캘리브레이션 오차를 낮게 유지한다.

ABSTRACT

We present an approach to quantifying both aleatoric and epistemic uncertainty for deep neural networks in image classification, based on generative adversarial networks (GANs). While most works in the literature that use GANs to generate out-of-distribution (OoD) examples only focus on the evaluation of OoD detection, we present a GAN based approach to learn a classifier that produces proper uncertainties for OoD examples as well as for false positives (FPs). Instead of shielding the entire in-distribution data with GAN generated OoD examples which is state-of-the-art, we shield each class separately with out-of-class examples generated by a conditional GAN and complement this with a one-vs-all image classifier. In our experiments, in particular on CIFAR10, CIFAR100 and Tiny ImageNet, we improve over the OoD detection and FP detection performance of state-of-the-art GAN-training based classifiers. Furthermore, we also find that the generated GAN examples do not significantly affect the calibration error of our classifier and result in a significant gain in model accuracy.

연구 동기 및 목표

• 딥 네ural 네트워크에서 원칙적인 불확실성 정량화의 부족을 해결하기 위해, 특히 앨레아토릭 불확실성과 엡스테믹 불확실성을 구분하는 데 목적이 있다.
• 기존의 GAN 기반 접근법을 초월하여, 분포 외(OoD) 및 가짜 양성(FP) 검출 성능을 향상시키는 데 목적이 있다.
• 분류기 학습과 함께 불확실성 정량화를 통합하는 통합 프레임워크를 개발하여, 생성자 사전 학습이 필요로 하지 않는 것을 목표로 한다.
• GAN 기반 데이터 증강을 통해 모델 정확도를 향상시키면서도 낮은 캘리브레이션 오차를 유지하는 것

제안 방법

• 각 클래스별로 별도의 조건부 GAN을 사용하여 외부 클래스 예제를 생성하며, 와서슈타인 손실을 적용함으로써 클래스별 특화된 차단( shielding )을 가능하게 한다.
• DNN의 최종 레이어에서 일대다 분류기를 함께 훈련시켜, 조건부 클래스 확률을 모델링한다.
• 베이즈의 정리를 적용하여 후행 확률을 계산함으로써 원칙적인 불확실성 추정을 가능하게 한다.
• 고차원 데이터의 경우, 복잡성과 적대적 간섭을 줄이기 위해 조건부 변동형 오토인코더의 잠재 공간에서 GAN을 훈련시킨다.
• 생성자 사전 학습을 피하기 위해, 조건부 GAN이 저차원 공간에서 직접 OoC 예제를 생성할 수 있는 능력을 활용한다.
• 분류기와 생성자를 함께 적대적 훈련을 통해 최적화함으로써, 불확실성 추정이 캘리브레이션되고 정보가 풍부한 상태를 유지한다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 깊이 있는 이미지 분류기에서 앨레아토릭 불확실성과 엡스테믹 불확실성을 효과적으로 구분할 수 있는가?
• RQ2 조건부 GAN을 통한 클래스별 특화된 차단 방식이 전역적 차단 방식보다 OoD 및 FP 검출에서 어떻게 성능을 높이는가?
• RQ3 GAN로 생성된 외부 클래스 예제는 정확도를 향상시키면서도 캘리브레이션을 떨어뜨리지 않는가?
• RQ4 변동형 오토인코더의 잠재 공간에서 GAN을 훈련시키면, CIFAR100 및 Tiny ImageNet과 같은 고차원 데이터셋에서 성능 향상이 이루어지는가?
• RQ5 제안된 방법은 최신의 GAN 기반 및 비-GAN 기반 불확실성 정량화 방법보다 어느 정도 뛰어나게 성능을 냈는가?

주요 결과

• CIFAR10에서 드롭아웃을 결합한 경우, UQGAN은 OoD 검출에 대해 95.06% AUC를 기록했으며, 오라클의 99.89%에 근접하여 다른 GAN 기반 방법들을 크게 앞선다.
• Tiny ImageNet에서 드롭아웃을 사용한 경우, FMNIST에 대해 99.90% AUC를 기록하여 모든 기준 모델을 초월한다.
• 유사한 아키텍처를 사용한 다른 GAN 기반 접근법에 비해, 특히 어려운 데이터셋인 CIFAR100 및 Tiny ImageNet에서 모델 정확도를 향상시킨다.
• UQGAN은 낮은 캘리브레이션 오차를 유지하며, 가장 도전적인 OoD 설정(예: Tiny ImageNet vs. FMNIST)에서 테스트 오차 1.04%를 기록하여 강력한 불확실성 추정 능력을 보여준다.
• 모든 OoD 검출 벤치마크에서 최신 기술을 일관되게 능가하며, 특히 유사하지만 분포 외인 데이터셋(CIFAR10 5-9, LSUN)에서 두드러진 성능을 보인다.
• 잠재 공간에서의 GAN 훈련은 적대적 간섭을 줄이고 고차원 이미지 데이터에서 더 안정적인 훈련을 가능하게 한다.