[論文レビュー] Bridging the Gap Between Explainable AI and Uncertainty Quantification to Enhance Trustability

Dominik Seuß|arXiv (Cornell University)|May 25, 2021

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 14

ひとこと要約

本稿では、説明可能AI（XAI）と不確実性評価（UQ）を統合することで、ユーザーにモデルの説明と意思決定における不確実性の定量的評価を提供することにより、AIシステムの信頼性を向上させることを提案する。LRPによるサリエンシー・マップとモンテカルロドロップアウトによる不確実性推定を組み合わせることで、テキストまたは視覚的表現による人間が理解可能な信頼性向上型フィードバックを提供するフレームワークを構築する。

ABSTRACT

After the tremendous advances of deep learning and other AI methods, more attention is flowing into other properties of modern approaches, such as interpretability, fairness, etc. combined in frameworks like Responsible AI. Two research directions, namely Explainable AI and Uncertainty Quantification are becoming more and more important, but have been so far never combined and jointly explored. In this paper, I show how both research areas provide potential for combination, why more research should be done in this direction and how this would lead to an increase in trustability in AI systems.

研究の動機と目的

• 精度を超えた信頼性のあるAIシステムの増大するニーズに対応するため、解釈可能性と不確実性評価を統合すること。
• 不確実性と人間の監視行動との心理的関連を特定し、不確実性の認識が説明の必要性を高めることを示唆する。
• AIシステムが説明と定量的不確実性を同時に提供する統合型フレームワークを提案し、ユーザーの信頼とシステムの透明性を向上させる。
• 責任あるAIにおける「解釈可能性」の柱を、XAIとUQを補完的支柱とする信頼構築メカニズムとして再定義することを提唱する。
• 説明形式（テキスト、視覚的表現）をユーザーの期待と認知処理に合わせて調整することで、人間中心のAIフィードバック設計を促進する。

提案手法

• XAIをモデリング前、解釈可能なモデリング（例：コンセプト活性化ベクトル、Beta VAE）、およびモデリング後解釈可能性（例：LRP、ANN-DT）に分類する。
• ベイズ・バックプロパゲーションやモンテカルロドロップアウトなどのUQ技術を統合して予測不確実性を定量化する。
• 後処理による説明手法（例：LRP）と不確実性表現（例：楕円型信頼領域）を組み合わせ、視覚的フィードバックを提供する。
• 対蹠的説明を用いて、入力の変化が予測と関連する不確実性レベルにどのように影響するかを示す。
• 不確実性を明示的に言語化するか、空間的に符号化することで、人間が適切な形式（テキストまたは視覚的表現）でフィードバックを受ける。
• 結果監視の心理的原則に従い、不確実性が認知的関与の増加と説明の必要性を引き起こすように、システムのフィードバックを調整する。

実験結果

リサーチクエスチョン

• RQ1 説明可能AI（XAI）と不確実性評価（UQ）をどのように意味的に統合することで、AIシステムの信頼性を向上させられるか？
• RQ2 テキスト、視覚的表現、対蹠的説明といったどのような説明形式が、人間ユーザーに対してモデルの意思決定とその関連する不確実性を最も効果的に伝えるか？
• RQ3 AI意思決定における不確実性の存在が、人間の監視行動と信頼形成にどの程度影響を及えるか？
• RQ4 XAIとUQを統合した統一フレームワークは、単独でのアプローチに比べて、ユーザーの理解力と自信の向上において優れているか？
• RQ5 責任あるAIにおける「解釈可能性」の柱を、人間-AI相互作用の心理的および行動的要因をよりよく反映するために、「信頼」に再定義すべきか？

主な発見

• XAIとUQを統合することで、意思決定の透明性と不確実性認識の両面をカバーする信頼性の高いAIシステムが実現される。
• 引用された行動研究では、不確実性が認知的監視を増加させ、信頼性の高い説明と予測可能性がユーザーの信頼に不可欠であることが示されている。
• ユーザー研究において、ケースベースの推論よりも対蹠的説明が好まれており、不確実性を意識したフィードバックにおけるその価値が裏付けられている。
• LRPによるサリエンシー・マップとモンテカルロドロップアウトによる不確実性推定（例：楕円型符号化を用いて）を視覚的に統合することで、不確実性を意識した人間が理解可能な説明が可能になる。
• 「30％の確信度（口元が覆われているため）」といった明確な自信度の記述を含むテキストフィードバックは、ユーザーの理解力と信頼性を向上させる。
• XAIとUQの統合は単なる加法的効果ではなく、不確実性の原因を含む説明の方が単なる説明よりも効果的であるという相乗効果を示している。