[논문 리뷰] Quantification of Uncertainty with Adversarial Models

Kajetan Schweighofer, Lukas Aichberger외 3명|arXiv (Cornell University)|2023. 07. 06.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 적대적 모델(후행 확률은 높지만 기준 모델과 예측이 크게 다른 모델)을 식별함으로써 딥러닝에서 지식적 불확실성 추정을 향상시키는 새로운 프레임워크인 적대적 모델을 통한 불확실성 정량화(QUAM)를 소개한다. QUAM은 지식적 불확실성 정의에 포함된 적분의 근사 오차를 줄이기 위해 후행 확률과 발산 둘 다 높은 영역에 집중함으로써, 비전 벤치마크에서 딥 앙상블과 MC 드롭아웃을 능가한다.

ABSTRACT

Quantifying uncertainty is important for actionable predictions in real-world applications. A crucial part of predictive uncertainty quantification is the estimation of epistemic uncertainty, which is defined as an integral of the product between a divergence function and the posterior. Current methods such as Deep Ensembles or MC dropout underperform at estimating the epistemic uncertainty, since they primarily consider the posterior when sampling models. We suggest Quantification of Uncertainty with Adversarial Models (QUAM) to better estimate the epistemic uncertainty. QUAM identifies regions where the whole product under the integral is large, not just the posterior. Consequently, QUAM has lower approximation error of the epistemic uncertainty compared to previous methods. Models for which the product is large correspond to adversarial models (not adversarial examples!). Adversarial models have both a high posterior as well as a high divergence between their predictions and that of a reference model. Our experiments show that QUAM excels in capturing epistemic uncertainty for deep learning models and outperforms previous methods on challenging tasks in the vision domain.

연구 동기 및 목표

• 고위험 응용 분야를 위한 딥러닝 모델에서 지식적 불확실성의 정량화를 향상시키기 위해.
• 딥 앙상블과 MC 드롭아웃과 같은 기존 방법들이 후행 샘플링에만 집중함으로써 지식적 불확실성을 잘 추정하지 못하는 한계를 해결하기 위해.
• 기준 모델과 예측이 크게 다른 높은 후행 확률을 가진 모델인 '적대적 모델'이라는 새로운 개념을 도입하여 지식적 불확실성 추정에서 적분의 높은 값 영역을 포착하기 위해.
• 특히 실세계 구현 환경에서 외부 기초 모델을 사용하는 경우에 적용 가능한 사전에 선택된 모델에 대한 불확실성 정량화를 가능하게 하기 위해.

제안 방법

• QUAM은 특정 테스트 포인트에서 후행 확률이 높고 기준 모델의 예측과 큰 발산을 보이는 모델을 적대적 모델로 식별한다.
• 지식적 불확실성을 발산 함수와 후행 확률을 포함하는 적분으로 공식화하고, 적분의 integrand가 큰 영역을 목표로 한다.
• 기울기 기반 탐색을 사용하여 발산과 후행 확률의 곱을 최대화하는 최적화를 통해 적대적 모델을 발견한다.
• 이 방법은 이러한 적대적 모델을 핵심 샘플로 사용하여 적분 추정기의 근사 오차를 줄인다.
• 기준 모델을 적용하고, 훈련 데이터를 동일하게 잘 설명하지만 테스트 입력에 대해 다른 예측을 내는 모델을 탐색한다.
• QUAM은 MNIST와 ImageNet을 사용한 비전 작업에서 딥 앙상블, MC 드롭아웃, SG-HMC와 비교하여 평가된다.

Figure 1 : Adversarial models. For the red test point, the predictive uncertainty is high as it is far from the training data. High uncertainties are detected by different adversarial models that assign the red test point to different classes, although all of them explain the training data equally w

실험 결과

연구 질문

• RQ1 딥 네트워크에서 기존 방법인 딥 앙상블과 MC 드롭아웃이 실패하는 경우, 지식적 불확실성을 더 정확하게 추정할 수 있는 방법은 무엇인가?
• RQ2 지식적 불확실성 적분에 기여하는 모델은 무엇으로 정의되며, 이러한 모델을 체계적으로 식별할 수 있는가?
• RQ3 후행 확률과 발산 둘 다 높은 '적대적 모델'이 지식적 불확실성 적분의 근사치를 향상시킬 수 있는가?
• RQ4 QUAM은 불확실성 캘리브레이션과 OOD 탐지 측면에서 기존의 불확실성 정량화 기준보다 어떻게 비교되는가?

주요 결과

• QUAM은 높은 후행 모드 뿐 아니라 높은 integrand 영역에 집중함으로써 지식적 불확실성 추정의 근사 오차를 크게 감소시킨다.
• QUAM이 식별한 적대적 모델은 소프트맥스 출력의 주성분 분석(PCA)을 통해 특징 사용과 예측 공간에서 높은 다양성을 보였다.
• 적대적 모델의 앙상블은 딥 앙상블 대비 예측 공간에서 더 넓은 볼록 Hull을 형성하여 예측 다양성이 더 크다는 것을 보여주었다.
• MNIST에서는 약 120 GPU시간(~샘플당 4 GPU-초), ImageNet에서는 약 100 GPU시간(~샘플당 45 GPU-초)이 소요되었다.
• QUAM은 특히 OOD 샘플 탐지에서 딥 앙상블과 MC 드롭아웃을 능가하며 어려운 비전 작업에서 성능을 발휘했다.
• 사전에 선택된 모델에 대해 불확실성 정량화를 잘 수행함으로써, 외부 기초 모델을 사용하는 실세계 구현 환경에 적합함을 입증했다.

(a) Deep Ensembles