[논문 리뷰] Quantifying Classification Uncertainty using Regularized Evidential Neural Networks

Xujiang Zhao, Yuzhe Ou외 3명|arXiv (Cornell University)|2019. 10. 15.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 13

한 줄 요약

이 논문은 훈련 중에 타겟된 정규화를 적용하여 두 가지 유형의 데이터 불확실성—공백(증거 부족)과 불일치(충돌하는 증거)—를 명시적으로 모델링하는 정규화된 증거 신경망(정규화된 ENNs)을 제안한다. 이 방법은 분류 작업에서 이상치 데이터 탐지 및 불확실성 정량화를 향상시키며, 실험 결과 ENN-Vac-Diss(공백과 불일치 양쪽 모두 정규화)가 기준선 ENN 및 표준 신경망보다 불확실성 추정과 알 수 없는 클래스 식별에서 뛰어난 성능을 보였다.

ABSTRACT

Traditional deep neural nets (NNs) have shown the state-of-the-art performance in the task of classification in various applications. However, NNs have not considered any types of uncertainty associated with the class probabilities to minimize risk due to misclassification under uncertainty in real life. Unlike Bayesian neural nets indirectly infering uncertainty through weight uncertainties, evidential neural networks (ENNs) have been recently proposed to support explicit modeling of the uncertainty of class probabilities. It treats predictions of an NN as subjective opinions and learns the function by collecting the evidence leading to these opinions by a deterministic NN from data. However, an ENN is trained as a black box without explicitly considering different types of inherent data uncertainty, such as vacuity (uncertainty due to a lack of evidence) or dissonance (uncertainty due to conflicting evidence). This paper presents a new approach, called a {\em regularized ENN}, that learns an ENN based on regularizations related to different characteristics of inherent data uncertainty. Via the experiments with both synthetic and real-world datasets, we demonstrate that the proposed regularized ENN can better learn of an ENN modeling different types of uncertainty in the class probabilities for classification tasks.

연구 동기 및 목표

• 기존의 딥 신경망과 표준 증거 신경망에서 내재된 데이터 불확실성 유형—예를 들어 공백과 불일치—을 명시적으로 모델링하지 못하는 문제를 해결하기 위해.
• 공백 및 불일치 차원에 맞춰진 정규화 기법을 통합하여 분류 작업에서의 불확실성 정량화를 향상시키기 위해.
• 구조화된 불확실성 정규화를 통해 더 신뢰할 수 있는 주관적 의견 추정을 학습하여 이상치 데이터 탐지 성능을 향상시키기 위해.
• 합성 및 실제 데이터셋(예: CIFAR-10 포함)에서 제안된 정규화된 ENN 프레임워크의 효과성을 검증하기 위해.

제안 방법

• 이 방법은 증거 신경망(ENNs)을 확장하여, 훈련 중에 특정 불확실성 특성—공백과 불일치—를 명시적으로 페널티 또는 장려하도록 정규화 항을 도입한다.
• 공백 정규화는 훈련 데이터에서 멀리 떨어진 영역에서의 신뢰도를 낮추어 이상치 샘플에 대해 높은 불확실성(낮은 증거)을 유도한다.
• 불일치 정규화는 클래스 간 경계나 모호한 영역에서 증거가 여러 클래스 간에 충돌할 경우 더 높은 불일치를 유도한다.
• 모델은 주관적 의견(클래스 확률)을 표현하기 위해 딜리클레 분포를 사용하며, 증거 파rameter는 결정론적 신경망을 통해 업데이트된다.
• 정규화는 표준 ENN 손실을 수정하여 특정 데이터 영역에서 공백과 불일치를 강조하는 손실 함수를 통해 적용된다.
• 초기화된 하이퍼파ram터를 통해 최적의 불확실성 추정을 위해 교차 엔트로피와 불확실성 인식 손실 성분을 포함한 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 공백을 위한 명시적 정규화가 증거 신경망에서 이상치 데이터 탐지 성능을 향상시킬 수 있는가?
• RQ2 불일치 정규화를 통합하면 분류 예측에서 충돌하는 증거를 더 정확하게 모델링할 수 있는가?
• RQ3 합성 및 실제 데이터셋에서 공백과 불일치 정규화는 불확실성 정량화 능력에서 어떻게 비교되는가?
• RQ4 공백과 불일치 양쪽을 함께 정규화하면 개별 또는 기준선 방법보다 더 나은 종합적인 불확실성 추정을 얻을 수 있는가?
• RQ5 이상치 데이터 훈련 샘플의 선택이 공백 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• 공백과 불일치 양쪽을 정규화한 ENN-Vac-Diss 모델이 이상치 데이터 탐지에서 모든 기준선을 압도하며, 다중 불확실성 차원을 모델링하는 데서의 이점을 입증했다.
• ENN-Vac는 특히 훈련 데이터에서 멀리 떨어진 영역에서 이상치 샘플에 대해 상당히 높은 공백을 보였으며, 이는 공백 정규화를 통한 이상치 탐지 향상가 확인되었다.
• ENN-Diss는 클래스 경계에서 더 높은 불일치 값을 생성하여 분류 결정에서 모호하거나 충돌하는 증거를 더 잘 탐지함을 시사한다.
• CIFAR-10 데이터셋에서 예측 엔트로피의 경험적 누적분포함수(CDF) 분석 결과, ENN-Vac는 OOD 샘플에서 ENN 및 Softmax보다 상당히 높은 엔트로피를 기록했으며, 이는 더 높은 불확실성 수준을 의미한다.
• 적절한 이상치 훈련 샘플 선택은 공백 추정 정확도에 결정적인 영향을 미쳤으며, OOD 샘플 선택이 열악할 경우 공백 수준이 최적화되지 않았다.