[論文レビュー] A Survey on Uncertainty Reasoning and Quantification for Decision Making: Belief Theory Meets Deep Learning

Zhen Guo, Zelin Wan+8 more|arXiv (Cornell University)|Jun 12, 2022

Bayesian Modeling and Causal Inference被引用数 10

ひとこと要約

本調査は、信念理論と深層学習を系統的に結びつけることで、不確実性推論および定量的手法（特にDezert-Smarandache理論（DSmT）、Dempster-Shafer理論（DST）、移行可能信念モデル（TBM））を分析し、複雑な不確実性下での意思決定を強化する。Evidential DNN、Fuzzy DNN、Rough DNNを提唱するハイブリッドフレームワークは、信念構造と深層学習を統合し、実世界のAI応用における頑健な不確実性モデリングを可能にする。

ABSTRACT

An in-depth understanding of uncertainty is the first step to making effective decisions under uncertainty. Deep/machine learning (ML/DL) has been hugely leveraged to solve complex problems involved with processing high-dimensional data. However, reasoning and quantifying different types of uncertainties to achieve effective decision-making have been much less explored in ML/DL than in other Artificial Intelligence (AI) domains. In particular, belief/evidence theories have been studied in KRR since the 1960s to reason and measure uncertainties to enhance decision-making effectiveness. We found that only a few studies have leveraged the mature uncertainty research in belief/evidence theories in ML/DL to tackle complex problems under different types of uncertainty. In this survey paper, we discuss several popular belief theories and their core ideas dealing with uncertainty causes and types and quantifying them, along with the discussions of their applicability in ML/DL. In addition, we discuss three main approaches that leverage belief theories in Deep Neural Networks (DNNs), including Evidential DNNs, Fuzzy DNNs, and Rough DNNs, in terms of their uncertainty causes, types, and quantification methods along with their applicability in diverse problem domains. Based on our in-depth survey, we discuss insights, lessons learned, limitations of the current state-of-the-art bridging belief theories and ML/DL, and finally, future research directions.

研究の動機と目的

• 成熟した信念／証拠理論を現代の深層学習と統合し、意思決定における効果的な不確実性推論を実現する分野のギャップを埋める。
• 信頼性あるAI意思決定を阻害する要因となる不確実性の根本的要因および種別（虚無性、曖昧性、不一致）を特定・分析する。
• 信念理論（例：DST、DSmT、TBM、IDM）が、深層ニューラルネットワークにおける認識的不確実性、ランダム不確実性、構造的不確実性をどのようにモデリングできるかを評価する。
• 時系列および構造的予測タスクに特に適した、多次元不確実性を定量化する統一フレームワークを提唱する。
• データ生成プロセスや敵対的耐性に基づいた新しい評価基準を提案することで、現在の不確実性メトリクスの限界を明らかにし、今後の研究を導く。

提案手法

• Dezert-Smarandache理論（DSmT）、Dempster-Shafer理論（DST）、移行可能信念モデル（TBM）、内在的不一致尺度（IDM）を含む基礎的信念理論を調査し、不確実性を扱うメカニズムを分析する。
• 3つのハイブリッド深層学習アーキテクチャを導入する：Evidential DNN（信念理論とDNNを統合し、不確実性の定量的評価を可能にする）、Fuzzy DNN（曖昧論理とDNNを統合し、曖昧性を扱う）、Rough DNN（不完全な情報に対して粗い集合論を用いる）。
• 信念関数を用いて、複数のソースや時間ステップからの主観的意見を融合し、特に時系列的・逐次的意思決定の文脈で応用する。
• 信念理論からの融合演算子（例：結合的または選言的結合ルール）を提案し、予測や時系列データポイント間の不確実性を統合的に集約する。
• 誤分類および分布外検出タスクを通じて不確実性推定を評価するが、不確実性メトリクスに真のラベルが欠如していることへの認識を示す。
• 信念モデルを深層強化学習と統合し、事前の知識がゼロの状況下での意思決定を可能にする。IDMが事前仮定なしに信念を導出できる能力を活用する。

実験結果

リサーチクエスチョン

• RQ1 DST、DSmT、TBMといった信念理論は、深層学習におけるさまざまな種類の不確実性を効果的にモデル化・定量化するためにどのように応用できるか？
• RQ2 証拠的、曖昧、粗い深層ニューラルネットワークにおける不確実性表現と伝播の主な相違点は何か？
• RQ3 信念に基づく不確実性定量法は、矛盾、不完全、またはだましのデータが存在する状況下で、意思決定の頑健性をどのように向上させるか？
• RQ4 現在の深層学習における不確実性メトリクスの限界は何か。信念理論は、より妥当で解釈可能な評価フレームワークの構築をどのように支援できるか？
• RQ5 信念モデルは、時系列的依存関係や機械翻訳や名前付きエンティティ認識といった構造的予測タスクを処理するために、どのように拡張可能か？

主な発見

• 信念理論と深層学習を統合した研究はわずかにしかなく、不確実性に配慮したAI分野におけるまだ始まったばかりだが、有望な研究分野であることが示された。
• Evidential DNN、Fuzzy DNN、Rough DNNは、それぞれ不一致（discord）、曖昧性（vagueness）、証拠不足（vacuity）といった異なる種類の不確実性に対処する、実用的な道筋を示している。
• 内在的不一致尺度（IDM）は、事前の知識がなくても意思決定を可能にするため、未知の環境下での強化学習に特に適している。
• 現在の不確実性推定手法は、主に単一の予測（例：画像分類）に限定されており、時系列や逐次的データに対する対応が不十分である。これは、時系列的依存性が無視されているためである。
• 特に定性的または曖昧なラベルに対して、背後にあるデータ生成プロセスをモデル化することで不確実性推定を検証できる新しい不確実性メトリクスの開発が、極めて重要である。
• 敵対的攻撃は不確実性を顕著に増加させるため、不確実性の定量的評価の前に攻撃検出を実施することで、意思決定パイプライン内のノイズや誤情報の影響を低減できる。