[논문 리뷰] Uncertainty Estimation by Fisher Information-based Evidential Deep Learning

Danruo Deng, Guangyong Chen외 3명|arXiv (Cornell University)|2023. 03. 03.

Adversarial Robustness in Machine Learning인용 수 12

한 줄 요약

논문은 Fisher Information 기반 Evidential Deep Learning (I-EDL)을 소개합니다. 이는 Fisher Information Matrix로 evidential learning 손실을 재가중하고, PAC-Bayesian bound로 일반화를 향상시켜 불확실성 추정과 OOD 탐지를 개선하며, 특히 few-shot 설정에서 효과적입니다.

ABSTRACT

Uncertainty estimation is a key factor that makes deep learning reliable in practical applications. Recently proposed evidential neural networks explicitly account for different uncertainties by treating the network's outputs as evidence to parameterize the Dirichlet distribution, and achieve impressive performance in uncertainty estimation. However, for high data uncertainty samples but annotated with the one-hot label, the evidence-learning process for those mislabeled classes is over-penalized and remains hindered. To address this problem, we propose a novel method, Fisher Information-based Evidential Deep Learning ($\mathcal{I}$-EDL). In particular, we introduce Fisher Information Matrix (FIM) to measure the informativeness of evidence carried by each sample, according to which we can dynamically reweight the objective loss terms to make the network more focused on the representation learning of uncertain classes. The generalization ability of our network is further improved by optimizing the PAC-Bayesian bound. As demonstrated empirically, our proposed method consistently outperforms traditional EDL-related algorithms in multiple uncertainty estimation tasks, especially in the more challenging few-shot classification settings.

연구 동기 및 목표

• 데이터, 모델, 분포 불확실성 전반에 걸친 신뢰 가능한 불확실성 추정을 촉진한다.
• 전통적인 증거 기반 네트워크에서 고불확실성 샘플의 증거 오학습 문제를 해결하기 위해 원-핫(label)과 함께 증거를 잘못 학습하는 현상을 다룬다.
• 샘플 및 클래스별로 적응적으로 손실 항목의 가중치를 조절하는 Fisher Information 기반 메커니즘을 도입한다.
• PAC-Bayesian 경계를 도입하여 일반화를 강화하고 이론적 근거를 제공한다.

제안 방법

• 목표 분포를 alpha = f_theta(x) + 1인 Dirichlet 분포로부터 발생하는 것으로 모델링한다.
• Dir(alpha)의 Fisher Information Matrix를 사용하여 클래스별 정보 내용을 측정하고 y 생성 분산을 I(alpha)^{-1}로 설정한다.
• I-MSE에 정보의 크기에 대한 페널티, KL 항, PAC-Bayesian bound를 통해 FIM의 행렬식(det) 항을 accounting하는 항을 결합한 목적 함수를 도출한다.
• 학습 중 샘플별, 클래스별 증거 재가중화를 허용하여 불확실한 클래스에 학습을 집중한다.
• 다음 구성으로 손실을 최적화한다: L = L_I-MSE - lambda1 L_|I| + lambda2 L_KL; 각 구성 요소의 정의는 alpha와 digamma/trigamma 함수에 기반한다.

실험 결과

연구 질문

• RQ1 Fisher Information이 증거의 클래스별 정보성을 정량화하고 학습을 재가중시켜 불확실한 클래스 표현을 향상시킬 수 있는가?
• RQ2 FIM과 PAC-Bayesian bound를 도입하면 불확실성 보정, OOD 탐지, 그리고 few-shot 분류 성능이 향상되는가?
• RQ3 I-EDL이 표준 EDL 및 다른 Dirichlet 기반 불확실성 모델과 데이터셋과 작업들에서 어떻게 비교되는가?
• RQ4 PAC-Bayesian bound가 증거 기반 네트워크의 일반화에 어떤 역할을 하는가?

주요 결과

• I-EDL은 OOD 탐지 및 신뢰도 평가를 포함한 여러 작업에서 Dirichlet 기반 불확실성 모델 중 최첨단 성능을 달성한다.
• 이 접근은 few-shot mini-ImageNet 설정에서 정확도와 불확실성 지표에 개선을 보인다.
• FIM 기반 재가중은 모델이 불확실한 클래스에 학습을 집중하여 라벨 노이즈 및 데이터 불확실성에 대한 강건성을 향상시킨다.
• 실험적 결과는 I-EDL이 EDL, PN 변형, MC Dropout 등 여러 벤치마크에서 베이스라인보다 우수하다는 것을 보여준다.
• PAC-Bayesian 구성 요소는 경험적 이득을 보완하는 이론적 일반화 보장 프레임워크를 제공한다.