[論文レビュー] Learn to Accumulate Evidence from All Training Samples: Theory and Practice

Deep Pandey, Qi Yu|arXiv (Cornell University)|Jun 19, 2023

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この論文は、証拠の深層学習における根本的な制限を特定する：既存のモデルは、非負の証拠制約のため、'ゼロ証拠領域'にマップされる訓練サンプルから学習できず、結果として最適でない性能を示す。これを解決するために、著者らは正則化された証拠モデル（RED）を提案する。このモデルは、すべての訓練サンプルから学習できる新たな正の証拠正則化を導入し、Cifar100のような困難なベンチマークにおいて顕著に精度を向上させる。同時に、不確実性の定量化能力を維持する。

ABSTRACT

Evidential deep learning, built upon belief theory and subjective logic, offers a principled and computationally efficient way to turn a deterministic neural network uncertainty-aware. The resultant evidential models can quantify fine-grained uncertainty using the learned evidence. To ensure theoretically sound evidential models, the evidence needs to be non-negative, which requires special activation functions for model training and inference. This constraint often leads to inferior predictive performance compared to standard softmax models, making it challenging to extend them to many large-scale datasets. To unveil the real cause of this undesired behavior, we theoretically investigate evidential models and identify a fundamental limitation that explains the inferior performance: existing evidential activation functions create zero evidence regions, which prevent the model to learn from training samples falling into such regions. A deeper analysis of evidential activation functions based on our theoretical underpinning inspires the design of a novel regularizer that effectively alleviates this fundamental limitation. Extensive experiments over many challenging real-world datasets and settings confirm our theoretical findings and demonstrate the effectiveness of our proposed approach.

研究の動機と目的

• 大規模データセットにおける証拠の深層学習モデルの予測性能が低い根本的原因を調査すること。
• すべての訓練サンプル、特に'ゼロ証拠領域'にあるサンプルから学習できない証拠モデルの根本的制限を同定すること。
• すべての訓練サンプル、特にゼロ証拠領域にあるサンプルから効果的に学習できる正則化手法を設計すること。
• 複数の実世界のデータセットと設定において、理論的発見を実証的に検証すること。

提案手法

• 理論的分析により、ReLUなどの証拠活性化関数がゼロ証拠領域を生じさせ、それらの領域にあるサンプルからの知識獲得を妨げることを明らかにする。
• 指数関数的活性化関数がReLUやSoftPlusよりもゼロ証拠領域を回避する点で理論的に優位であることを導出する。
• ゼロまたはほぼゼロの証拠予測をペナルティ化する新たな正の証拠正則化項を訓練目的関数に導入する。
• この正則化は、証拠空間におけるすべての訓練サンプルにわたる証拠の均等な分布を促進し、証拠空間における「死滅領域」を回避する。
• 提案された正則化された証拠モデル（RED）は、最小限のアーキテクチャ変更で標準的な証拠学習に統合される。
• 複数のデータセットで、異なる活性化関数および損失関数を用いた標準的な証拠モデルとREDを比較する実験が実施された。

Figure 1: Cifar100 Result

実験結果

リサーチクエスチョン

• RQ1 なぜ証拠モデルはCifar100のような複雑なデータセットにおいて、標準的なソフトマックスモデルに比べて性能が劣るのか？
• RQ2 既存の証拠モデルに存在する、すべての訓練サンプルから学習できない根本的な構造的制限は何なのか？
• RQ3 証拠空間内に存在する'ゼロ証拠領域'の存在が、モデルの一般化性能および不確実性キャリブレーションに与える影響は何か？
• RQ4 ゼロ証拠領域に起因する学習不足を効果的に緩和できる正則化戦略は存在するか？
• RQ5 提案されたREDモデルは、不確実性定量化を維持したまま、優れた予測性能を達成できるか？

主な発見

• Evidential MSE損失を用いた場合、REDモデルはCifar100で99.12%のテスト精度を達成し、標準的な証拠モデル（36%精度）を著しく上回り、標準的なソフトマックスモデルに近い性能に到達した。
• 最適な正則化ハイパーパrameterを用いることで、REDはCifar10でEvidential CE損失を用いて95.40%の精度を達成し、すべてのベースライン活性化関数を上回った。
• Cifar100では、Evidential CE損失を用いた場合、REDは最適な正則化で76.43%の精度を達成したのに対し、標準的なCEモデルは75.67%であった。これは、競争力のある性能を示している。
• アブレーションスタディにより、正則化項がゼロ証拠領域にマップされるサンプルの割合を効果的に低減していることが確認され、モデルのロバスト性が向上した。
• ハイパーパrameterチューニングへの感受性が低く、異なるアーキテクチャおよび損失関数においても安定した性能を維持した。
• 理論的分析により、指数関数的活性化関数がゼロ証拠領域を回避する点で優位であることが確認され、実証的結果と整合的であった。

Figure 2: Visualization of zero-evidence region for evidential models with ReLU activation in a binary classification setting. Existing models fail to learn from samples that are mapped to such zero-evidence region (shared area at the bottom left quadrant).