[논문 리뷰] Uncertainty Estimation Using a Single Deep Deterministic Neural Network

Joost van Amersfoort, Lewis Smith외 2명|arXiv (Cornell University)|2020. 03. 04.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 233

한 줄 요약

DUQ는 클래스 중심점과 RBF 유사 커널을 사용하여 단일 전방 패스에서 예측 불확실성을 추정하는 결정적 딥 모델을 학습하여 OoD 탐지와 함께 그래디언트 정규화된 억지 Jacobian으로 경쟁력 있는 정확도를 달성합니다.

ABSTRACT

We propose a method for training a deterministic deep model that can find and reject out of distribution data points at test time with a single forward pass. Our approach, deterministic uncertainty quantification (DUQ), builds upon ideas of RBF networks. We scale training in these with a novel loss function and centroid updating scheme and match the accuracy of softmax models. By enforcing detectability of changes in the input using a gradient penalty, we are able to reliably detect out of distribution data. Our uncertainty quantification scales well to large datasets, and using a single model, we improve upon or match Deep Ensembles in out of distribution detection on notable difficult dataset pairs such as FashionMNIST vs. MNIST, and CIFAR-10 vs. SVHN.

연구 동기 및 목표

• 단일 전방 패스에서 out-of-distribution 데이터를 탐지할 수 있는 결정적 모델을 학습하는 것을 목표로 한다.
• softmax 정확도에 맞추기 위해 중심 기반 RBF-like 네트워크의 훈련을 안정화한다.
• Jacobians 정규화를 통해 입력 변화에 대한 감도를 강제하여 신뢰할 수 있는 OoD 탐지를 활성화한다.
• gradient 패널티가 불확실성 품질과 일반화에 미치는 영향을 조사한다.
• DUQ를 표준 OoD 벤치마크에서 평가하고 하이퍼파라미터의 영향을 평가한다.

제안 방법

• 입력을 깊은 특징 추출기 f_theta로 표현하고, 그 뒤에 각 클래스의 중심점 e_c와 클래스별 선형 매핑 W_c를 두어 각 중심점에 대해 RBF-like 커널을 정의한다.
• 예측은 K_c = exp(-||W_c f_theta(x) - e_c||^2 / (2 sigma^2))를 통해 가장 가까운 중심점을 선택하고, 불확실성은 가장 가까운 중심점까지의 거리로 계산된다.
• 정류(일대다) 방식의 다변 Bernoulli 스타일 손실로 올바른 중심점에 대한 거리를 최소화하고 다른 중심점들과의 거리를 최대화하여 학습한다.
• 학습을 안정화하기 위해 클래스별 특징의 지수이동평균(momentum gamma)을 사용하여 중심점 e_c를 온라인으로 업데이트한다.
• 출력에 대한 입력의 그래디언트( Jacobian )를 Lipschitz 제약을 강제하고 특징 붕괴를 방지하기 위해 그래디언트 페널티로 정규화한다.
• 두 면 그래디언트 페널티를 도입하여 sum_c K_c의 그래디언트 노름에 초점을 맞추어 한 면 페널티보다 OoD 탐지와 감도 향상을 높인다.
• softmax 베이스라인 및 Deep Ensembles와 비교하여 단일 패스로 경쟁력 있는 정확도 및 개선된 불확실성 추정을 보여준다.

실험 결과

연구 질문

• RQ1 결정적 중심 기반 딥 모델이 앙상블이나 MC 샘플링에 의존하지 않고도 단일 전방 패스에서 신뢰할 수 있는 예측 불확실성을 제공할 수 있는가?
• RQ2 그래디언트 기반 Jacobian 정규화가 RBF-like 네트워크 아키텍처에서 불확실성 품질과 특징 붕괴에 어떤 영향을 미치는가?
• RQ3 하이퍼파라미터(길이 스케일 sigma와 그래디언트 페널티 lambda)가 정확도와 OoD 탐지 성능에 데이터셋마다 어떤 영향을 미치는가?
• RQ4 FashionMNIST vs MNIST, CIFAR-10 vs SVHN 같은 어려운 OoD 벤치마크에서 DUQ가 Deep Ensembles 및 다른 베이스라인과 비교해 얼마나 잘 수행하는가?
• RQ5 DUQ가 인식적 불확실성과 과학적 불확실성을 구분할 수 있으며, 특징 공간에서 중심점이 이러한 불확실성을 반영하도록 어떻게 위치하는가?

주요 결과

lambda	Acc (FM)	AUROC (NM)	AUROC (M)
0	92.4% ±0.2	0.933 ±0.009	0.948 ±0.004
0.05	92.4% ±0.2	0.946 ±0.018	0.955 ±0.007
0.1	92.4% ±0.1	0.938 ±0.0018	0.948 ±0.005
0.2	92.2% ±0.1	0.945 ±0.019	0.944 ±0.011
0.3	92.3% ±0.1	0.944 ±0.013	0.941 ±0.011
0.5	92.0% ±0.1	0.946 ±0.014	0.932 ±0.009
1.0	91.9% ±0.1	0.945 ±0.018	0.934 ±0.006

• DUQ는 표준 데이터셋(FashionMNIST, CIFAR-10 등)에서 softmax 베이스라인과 경쟁력 있는 정확도와 단일 패스 불확실성 추정을 제공한다.
• Jacobian에 대한 양면 그래디언트 페널티는 OoD 탐지를 개선하고 특징 붕괴를 방지하여 한 면 페널티보다 OoD 작업에서 우수하다.
• FashionMNIST vs MNIST에서 그래디언트 페널티를 적용한 DUQ는 데이터 내 분포와 OoD 데이터를 구분하는 AUROC에서 여러 베이스라인보다 높으며 lambda=0.05–0.1에서 강력한 성능을 보인다.
• DUQ는 FashionMNIST 실험에서 ~0.95 수준의 AUROC로 OoD 데이터를 구분하고 경쟁력 있는 정확도(~92.4% 전후)를 유지한다.
• CIFAR-10 vs SVHN에서 DUQ는 하나의 모델로 OoD 탐지에서 경쟁력을 보이지만 일부 복잡한 데이터셋에서는 Deep Ensembles가 더 나을 수 있다. 그래디언트 페널티는 페널티가 없을 때보다 OoD 탐지 성능을 크게 향상시킨다.
• DUQ의 학습 및 추론 비용은 특히 테스트 시점에서 Deep Ensembles보다 크게 낮으며, 불확실성 추정을 위해 단일 전방 패스만 필요하다.