[논문 리뷰] Learn to Accumulate Evidence from All Training Samples: Theory and Practice

Deep Pandey, Qi Yu|arXiv (Cornell University)|2023. 06. 19.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 증거 기반 딥러닝의 근본적인 한계를 규명한다: 기존 모델들은 비음수 증거 제약 조건으로 인해 '영증거 영역'에 매핑된 훈련 샘플로부터 학습하지 못해 최적의 성능을 내지 못한다. 이를 해결하기 위해 저자들은 새로운 양의 증거 정규화를 도입하는 Regularized Evidential Model (RED)을 제안한다. 이는 모든 훈련 샘플에서 학습할 수 있도록 해주며, Cifar100과 같은 도전적인 벤치마크에서 정확도를 크게 향상시키면서도 불확실성 정량화 능력을 유지한다.

ABSTRACT

Evidential deep learning, built upon belief theory and subjective logic, offers a principled and computationally efficient way to turn a deterministic neural network uncertainty-aware. The resultant evidential models can quantify fine-grained uncertainty using the learned evidence. To ensure theoretically sound evidential models, the evidence needs to be non-negative, which requires special activation functions for model training and inference. This constraint often leads to inferior predictive performance compared to standard softmax models, making it challenging to extend them to many large-scale datasets. To unveil the real cause of this undesired behavior, we theoretically investigate evidential models and identify a fundamental limitation that explains the inferior performance: existing evidential activation functions create zero evidence regions, which prevent the model to learn from training samples falling into such regions. A deeper analysis of evidential activation functions based on our theoretical underpinning inspires the design of a novel regularizer that effectively alleviates this fundamental limitation. Extensive experiments over many challenging real-world datasets and settings confirm our theoretical findings and demonstrate the effectiveness of our proposed approach.

연구 동기 및 목표

• 대규모 데이터셋에서 증거 기반 딥러닝 모델의 예측 성능이 열 劣하는 근본 원인을 조사하기 위해.
• 모든 훈련 샘플, 특히 '영증거 영역'에 있는 샘플로부터 학습하지 못하게 하는 근본적인 제약 조건을 규명하기 위해.
• 모든 훈련 샘플, 특히 영증거 영역에 있는 샘플로부터 효과적으로 학습할 수 있도록 하는 정규화 방법을 설계하기 위해.
• 다양한 실제 데이터셋과 설정에서 이론적 발견을 경험적으로 검증하기 위해.

제안 방법

• 이론적 분석을 통해 ReLU와 같은 증거 활성화 함수가 영증거 영역을 생성함으로써 해당 영역에 속하는 샘플로부터 지식을 습득하지 못하게 된다는 것을 밝혀냈다.
• 영증거 영역을 피하는 데서 지수 활성화 함수가 ReLU 및 SoftPlus보다 이론적으로 우월함을 도출하였다.
• 영증거 또는 근접한 영증거 예측을 방지하기 위해 훈련 목표에 새로운 양의 증거 정규화 항을 도입하였다.
• 이 정규화는 증거 공간의 사각지대를 피하기 위해 모든 훈련 샘플에 걸쳐 증거를 더 균형 있게 분포시키도록 유도한다.
• 제안된 Regularized Evidential Model (RED)은 표준 증거 기반 훈련에 최소한의 아키텍처 변경으로 이 정규화를 통합하였다.
• 다양한 데이터셋에서 표준 증거 기반 모델과의 비교 실험을 통해 다양한 활성화 함수와 손실 함수를 사용하였다.

Figure 1: Cifar100 Result

실험 결과

연구 질문

• RQ1 왜 증거 기반 모델은 Cifar100과 같은 복잡한 데이터셋에서 표준 softmax 모델보다 성능이 열 劣하는가?
• RQ2 기존 증거 기반 모델이 모든 훈련 샘플에서 학습하지 못하게 하는 근본적인 구조적 제약 조건은 무엇인가?
• RQ3 증거 공간 내 '영증거 영역'의 존재가 모델의 일반화 및 불확실성 校정에 어떤 영향을 미치는가?
• RQ4 정규화 전략이 영증거 영역으로 인한 학습 부족을 효과적으로 완화할 수 있는가?
• RQ5 제안된 RED 모델은 불확실성 정량화 능력을 유지하면서도 우수한 예측 성능을 달성하는가?

주요 결과

• 제안된 RED 모델은 Evidential MSE 손실을 사용하여 Cifar100에서 99.12%의 테스트 정확도를 달성하였으며, 표준 증거 기반 모델(36% 정확도)을 크게 뛰어넘고 표준 softmax 모델에 가까운 성능을 보였다.
• 최적의 정규화 하이퍼파rameter를 사용할 경우, RED는 Evidential CE 손실을 사용하여 Cifar10에서 95.40%의 정확도를 달성하였으며, 모든 베이스라인 활성화 함수를 초월하였다.
• Cifar100에서 Evidential CE 손실을 사용할 경우, 최적의 정규화 조건 하에서 RED는 76.43%의 정확도를 기록하였고, 표준 CE 모델의 75.67%보다 뛰어난 성능을 보였다. 이는 경쟁 가능한 성능을 의미한다.
• 제거 실험을 통해 정규화 항이 영증거 영역에 매핑되는 샘플 비율을 효과적으로 감소시켜 모델의 강건성을 향상시킨다는 것이 확인되었다.
• 모델의 하이퍼파rameter 튜닝에 대한 민감도가 감소하고 다양한 아키텍처와 손실 함수 간에 안정적인 성능을 유지하는 것으로 나타났다.
• 이론적 분석을 통해 지수 활성화 함수가 영증거 영역을 피하는 데서 더 우월함을 확인하였으며, 이는 경험적 결과와 일치한다.

Figure 2: Visualization of zero-evidence region for evidential models with ReLU activation in a binary classification setting. Existing models fail to learn from samples that are mapped to such zero-evidence region (shared area at the bottom left quadrant).