[논문 리뷰] One Versus all for deep Neural Network Incertitude (OVNNI) quantification

Gianni Franchi, Andrei Bursuc외 3명|arXiv (Cornell University)|2020. 06. 01.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 9

한 줄 요약

이 논문은 딥 네ural 네트워크에서의 불확실성 정량화를 위한 새로운 비베이지안 방법인 OVNNI를 제안한다. 이 방법은 One-vs-All (OVA)와 All-vs-All (AVA) 분류를 조합하여, 최소한의 하이퍼파라미터 튜닝으로도 상태의 성능을 달성하며, 분포 외(OOD) 탐지와 모델 校정 성능을 향상시킨다.

ABSTRACT

Deep neural networks (DNNs) are powerful learning models yet their results are not always reliable. This is due to the fact that modern DNNs are usually uncalibrated and we cannot characterize their epistemic uncertainty. In this work, we propose a new technique to quantify the epistemic uncertainty of data easily. This method consists in mixing the predictions of an ensemble of DNNs trained to classify One class vs All the other classes (OVA) with predictions from a standard DNN trained to perform All vs All (AVA) classification. On the one hand, the adjustment provided by the AVA DNN to the score of the base classifiers allows for a more fine-grained inter-class separation. On the other hand, the two types of classifiers enforce mutually their detection of out-of-distribution (OOD) samples, circumventing entirely the requirement of using such samples during training. Our method achieves state of the art performance in quantifying OOD data across multiple datasets and architectures while requiring little hyper-parameter tuning.

연구 동기 및 목표

• 딥 네ural 네트워크에서 신뢰할 수 있는 불확실성 추정, 특히 지식적 불확실성과 분포 외(OOD) 탐지의 부족을 해결하기 위해.
• 특히 안전이 중요한 응용 분야에서 표준 DNN의 예측에 대한 과신 문제를 해결하기 위해.
• 베이지안 추론이나 훈련 중에 OOD 데이터가 필요 없이도 불확실성 정량화를 향상시킬 수 있는 방법을 개발하기 위해.
• OVA 기반 앙상블에 AVA 校정을 결합할 경우, 기존 최고 수준의 기술들보다 校정 및 OOD 탐지 성능에서 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 각각 한 클래스를 나머지 모든 클래스와 구별하는 OVA 분류기의 앙상블을 훈련한다.
• 동일한 분류 작업을 위해 별도의 All-vs-All (AVA) DNN을 훈련하여 보정된 신뢰도 점수를 제공한다.
• AVA DNN의 출력을 국소적 신뢰도 지표로 사용하여 OVA 분류기의 점수를 보정함으로써 불확실성 추정을 정밀화한다.
• 보정된 OVA 점수를 승자독점 규칙(winner-takes-all)을 사용해 통합하여 최종 예측과 불확실성 점수를 산출한다.
• 통합된 점수를 분포 외(OOD) 샘플 탐지용 신뢰도 지수로 활용하며, 낮은 점수는 높은 불확실성임을 나타낸다.
• AVA DNN의 보정 성능을 활용해 OVA 예측의 과신 문제를 보완함으로써 전체 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 베이지안 추론이나 훈련 중 OOD 데이터가 필요 없이도 OVA와 AVA DNN을 조합함으로써 딥 네트워크의 불확실성 정량화를 향상시킬 수 있는가?
• RQ2 OVNNI 방법은 Deep Ensembles와 같은 최고 수준의 기술들과 비교해 보았을 때, 校정 및 OOD 탐지 측면에서 어떻게 성능을 내는가?
• RQ3 AVA DNN 출력을 신뢰도 지표로 사용할 경우, OVA 기반 앙상블에서 분포 외 샘플 탐지 능력이 얼마나 향상되는가?
• RQ4 OVNNI 프레임워크는 다양한 데이터셋과 아키텍처에서 높은 정확도를 유지하면서도 모델의 校정 성능을 크게 향상시키는가?
• RQ5 OVNNI의 개념적 단순성은 실생활 응용 분야에서 신뢰할 수 있는 불확실성 추정이 필요한 분야에서 널리 보급될 수 있는가?

주요 결과

• OVNNI는 CIFAR10, SVHN, Camvid, StreetHazards, BDD Anomaly 등 여러 데이터셋에서 OOD 탐지 성능이 최고 수준이다.
• Camvid에서 OVNNI는 Corbière 등이 제안한 지표 기준으로 최고 수준의 성능을 77% 향상시키며, 校정 성능에서도 최대 77% 향상되었다.
• StreetHazards에서 OVNNI는 이전 최고 성능 대비 OOD 탐지 지표에서 최대 42.8% 향상되었다.
• BDD Anomaly에서 OVNNI는 校정 성능을 최소 48% 향상시키며, 다른 지표들 역시 최소 22% 향상되어 강력한 일반화 능력을 입증했다.
• OVNNI는 가장 뛰어난 校정 성능을 기록했으며, 정확도-신뢰도 곡선과 校정 곡선이 신뢰도와 실제 정확도 사이의 일치가 뛰어나게 잘 맞아떨어졌다.
• 기존 최고 수준 대비 기대 校정 오차(ECE)를 2% 향상시켜 보다 보정된 신뢰도 추정이 가능함을 시사한다.