[논문 리뷰] Deep Deterministic Uncertainty: A Simple Baseline

Jishnu Mukhoti, Andreas Kirsch외 3명|arXiv (Cornell University)|2021. 02. 23.

Fault Detection and Control Systems인용 수 18

한 줄 요약

이 논문은 딥 러닝에서 불확실성 정량화를 위한 단순하면서도 강력한 베이스라인인 딥 결정론적 불확실성(DDU)을 소개한다. 잔차 연결과 스펙트럴 정규화를 통해 잘 정규화된 특징 공간을 활용함으로써, DDU는 복잡한 방법들인 DUQ와 SNGP보다도 더 뛰어난 성능을 보이며 단일 순방향 전파를 통해 분포 외 탐지 및 능동 학습에서 최신 기술 수준의 성능을 달성한다. 미세조정이나 앙상블 없이도 성능을 내는 데 성공했다.

ABSTRACT

Reliable uncertainty from deterministic single-forward pass models is sought after because conventional methods of uncertainty quantification are computationally expensive. We take two complex single-forward-pass uncertainty approaches, DUQ and SNGP, and examine whether they mainly rely on a well-regularized feature space. Crucially, without using their more complex methods for estimating uncertainty, a single softmax neural net with such a feature-space, achieved via residual connections and spectral normalization, *outperforms* DUQ and SNGP's epistemic uncertainty predictions using simple Gaussian Discriminant Analysis *post-training* as a separate feature-space density estimator -- without fine-tuning on OoD data, feature ensembling, or input pre-procressing. This conceptually simple *Deep Deterministic Uncertainty (DDU)* baseline can also be used to disentangle aleatoric and epistemic uncertainty and performs as well as Deep Ensembles, the state-of-the art for uncertainty prediction, on several OoD benchmarks (CIFAR-10/100 vs SVHN/Tiny-ImageNet, ImageNet vs ImageNet-O) as well as in active learning settings across different model architectures, yet is *computationally cheaper*.

연구 동기 및 목표

• DUQ와 SNGP와 같은 복잡한 단일 순방향 전파 불확실성 방법들이 주로 잘 정규화된 특징 공간에 의존하는지 여부를 조사하는 것.
• 앙상블, 미세조정, 입력 전처리 없이도 강력한 불확실성 추정을 달성하는 개념적으로 단순한 베이스라인을 개발하는 것.
• 최소한의 아키텍처와 잘 정규화된 특징을 통해 애러토픽과 엡스티믹 불확실성을 분리하는 것.
• 다양한 아키텍처에서 분포 외 탐지 및 능동 학습 벤치마크를 통해 방법을 평가하는 것.

제안 방법

• 잔차 연결과 스펙트럴 정규화를 사용해 잘 정규화된 특징 공간을 생성하는 표준 소프트맥스 신경망을 훈련한다.
• 최종 레이어의 특징에 대해 후기 밀도 추정기로 가우시안 믹스 모델(GMM)을 사용해 엡스티믹 불확실성을 추정한다.
• 로짓에 대해 소프트맥스 교차엔트로피를 사용해 애러토픽 불확실성을 추정한다.
• 가우시안 판별 분석(GDA)을 적용해 클래스 조건부 밀도를 함께 모델링하여 불확실성 유형을 분리한다.
• 표준 교차엔트로피 손실로 모델을 엔드 투 엔드로 훈련한 후, 후처리 단계에서 GMM과 소프트맥스 엔트로피를 적용한다.
• 분포 외 데이터에 대한 미세조정이나 입력 전처리를 피하고, 아키텍처 정규화와 후처리 밀도 추정에만 의존한다.

실험 결과

연구 질문

• RQ1 잘 정규화된 특징 공간만을 사용할 때, 단순하고 결정론적인 단일 순방향 전파 모델이 DUQ와 SNGP와 같은 복잡한 불확실성 방법들을 능가할 수 있는가?
• RQ2 고도로 발전한 불확실성 방법의 성능이 복잡한 불확실성 추정 메커니즘보다 주로 특징 공간 정규화에 기인하는가?
• RQ3 잔차 연결과 스펙트럴 정규화를 갖춘 최소한의 아키텍처가 애러토픽과 엡스티믹 불확실성을 효과적으로 분리할 수 있는가?
• RQ4 다양한 데이터셋과 아키텍처에서 제안된 DDU 베이스라인은 딥 앙상블과 비교해 어떻게 성능을 내는가?
• RQ5 아키텍처의 인덕티브 바이어스(예: 잔차 연결, 스펙트럴 정규화)는 불확실성 정량화를 위한 특징 공간 밀도 추정의 품질에 어떤 영향을 미치는가?

주요 결과

• CIFAR-10 vs SVHN/CIFAR-100/Tiny-ImageNet 및 ImageNet vs ImageNet-O 벤치마크에서 DDU는 분포 외 탐지 성능이 최신 기술 수준이며, AUROC 점수는 각각 97.86%와 91.34%를 기록했다.
• CIFAR-100 vs SVHN/Tiny-ImageNet에서 DDU는 SVHN에 대해 87.53%의 AUROC를 기록했고, Tiny-ImageNet에선 83.13%를 기록하여 SNGP를 능가했으며, 5개 앙상블 모델의 성능과도 동등했다.
• CIFAR-10 vs SVHN에서 DDU는 기대 캘리브레이션 오차(ECE)를 0.85±0.04로 줄였고, DUQ(1.55±0.08)를 능가했으며, 최고 성능을 낸 방법과 동등한 성능을 보였다.
• 능동 학습에서 DDU는 다양한 아키텍처에서 딥 앙상블과 동일한 성능을 보였으며, 강력한 불확실성 캘리브레이션과 예측 능력을 입증했다.
• 이 방법은 성공적으로 애러토픽과 엡스티믹 불확실성을 분리했다: 소프트맥스 엔트로피는 내부 분포 데이터의 모호성을 캡처했고, 특징에 대한 GMM은 분포 외 샘플의 모델 불확실성을 캡처했다.
• 적절한 인덕티브 바이어스(예: 잔차 연결 및 스펙트럴 정규화)가 없을 경우 특징 공간 밀도 추정이 실패하여 내부 분포와 분포 외 밀도가 겹쳐지게 된다.