[논문 리뷰] Simple and Scalable Epistemic Uncertainty Estimation Using a Single Deep Deterministic Neural Network

Joost van Amersfoort, Lewis Smith외 2명|arXiv (Cornell University)|2020. 03. 04.

Anomaly Detection Techniques and Applications인용 수 13

한 줄 요약

이 논문은 단일의 딥 결정론적 신경망인 결정론적 불확도 정량화(DUQ)를 소개한다. DUQ는 한 번의 순방향 전파로 사전 불확도를 추정하고 분포 외 입력을 탐지할 수 있다. RBF 유사 아키텍처와 새로운 손실 함수, 기울기 페널티를 조합함으로써, DUQ는 FashionMNIST 대비 MNIST 및 CIFAR-10 대비 SVHN과 같은 OOD 탐지 벤치마크에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성하며, 소프트맥스 모델의 정확도를 유지하면서도 효율적으로 확장된다.

ABSTRACT

We propose a method for training a deterministic deep model that can find and reject out of distribution data points at test time with a single forward pass. Our approach, deterministic uncertainty quantification (DUQ), builds upon ideas of RBF networks. We scale training in these with a novel loss function and centroid updating scheme and match the accuracy of softmax models. By enforcing detectability of changes in the input using a gradient penalty, we are able to reliably detect out of distribution data. Our uncertainty quantification scales well to large datasets, and using a single model, we improve upon or match Deep Ensembles in out of distribution detection on notable difficult dataset pairs such as FashionMNIST vs. MNIST, and CIFAR-10 vs. SVHN.

연구 동기 및 목표

• 앙상블 없이도 확장 가능한 딥 신경망 내 사전 불확도 추정 방법을 개발하는 것.
• 테스트 시점에 단일 순방향 전파만으로 신뢰할 수 있는 분포 외(OOD) 탐지 기능을 제공하는 것.
• 소프트맥스 기반 모델의 정확도를 유지하면서도 OOD 탐지 성능을 향상시키는 것.
• 결정론적 아키텍처를 사용해 대규모 데이터셋으로의 불확도 추정을 확장하는 것.

제안 방법

• 방법론은 불확도를 모델링하기 위해 원형 기저 함수(RBF)-유사 은닉 유닛을 사용하는 딥 결정론적 신경망을 사용한다.
• 분포 이탈 탐지 기능을 강제로 확보하면서 네트워크를 엔드 투 엔드로 훈련하기 위해 새로운 손실 함수를 도입한다.
• 훈련 중 중심점 갱신을 사용하여 RBF 기반 표현 학습의 안정성과 확장성을 향상시킨다.
• 모델의 출력이 분포 이탈에 대해 감지 가능하게 변화하도록 기울기 페널티를 적용한다.
• 추론 시 분포 외 입력에 대해 높은 불확도 점수를 생성하도록 모델을 훈련시킨다.
• 전체 불확도 정량화 파이프라인은 테스트 시점에 단일 순방향 전파로 작동한다.

실험 결과

연구 질문

• RQ1 앙성 없이도 단일 결정론적 딥 신경망이 경쟁 가능한 OOD 탐지 성능을 달성할 수 있는가?
• RQ2 새로운 손실 함수를 갖춘 RBF 기반 아키텍처가 테스트 시점 입력의 분포 이탈을 얼마나 효과적으로 탐지할 수 있는가?
• RQ3 기울기 페널티가 결정론적 모델에서 분포 외 샘플의 감지 가능성에 얼마나 기여하는가?
• RQ4 제안된 방법이 대규모 데이터셋으로 확장되면서도 높은 정확도와 불확도 캘리브레이션을 유지할 수 있는가?

주요 결과

• DUQ는 표준 이미지 분류 벤치마크에서 소프트맥스 기반 모델의 정확도를 그대로 유지한다.
• 어려운 FashionMNIST 대비 MNIST OOD 탐지 과제에서, DUQ는 딥 앙상블의 성능을 뛰어나거나 동등하게 개선한다.
• CIFAR-10 대비 SVHN OOD 탐지 벤치마크에서, DUQ는 단일 모델로 최신 기술 수준 또는 경쟁 가능한 결과를 달성한다.
• 이 방법은 단일 순방향 전파만으로도 신뢰할 수 있는 OOD 탐지가 가능하게 하여 추론 효율성을 크게 향상시킨다.
• 기울기 페널티는 모델의 분포 이탈에 대한 민감도를 효과적으로 향상시켜 탐지 신뢰도를 높인다.
• 중심점 갱신과 새로운 손실 함수를 포함한 제안된 훈련 체계는 대규모 데이터셋에서의 확장 가능한 훈련을 가능하게 한다.