[論文レビュー] Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems

Jeff Druce, Michael Harradon+1 more|arXiv (Cornell University)|Jun 7, 2021

Explainable Artificial Intelligence (XAI)被引用数 13

ひとこと要約

本稿では、ブラックボックスな深層強化学習（DRL）エージェントにおけるユーザーユーザー信頼を向上させるためのXAIフレームワークを提案する。このフレームワークは、視覚的状態パフォーマンス（価値推定誤差）、一般化能力（最近傍トレーニングサンプルからの距離）、および物語的解釈の3つの説明を提供する。ユーザースタディの結果、XAIインターフェースを用いることでユーザー受容度が統計的に有意に向上した（p = 0.03）が、信頼度の向上は限定的で、常に有意ではなかった。

ABSTRACT

We consider the problem of providing users of deep Reinforcement Learning (RL) based systems with a better understanding of when their output can be trusted. We offer an explainable artificial intelligence (XAI) framework that provides a three-fold explanation: a graphical depiction of the systems generalization and performance in the current game state, how well the agent would play in semantically similar environments, and a narrative explanation of what the graphical information implies. We created a user-interface for our XAI framework and evaluated its efficacy via a human-user experiment. The results demonstrate a statistically significant increase in user trust and acceptance of the AI system with explanation, versus the AI system without explanation.

研究の動機と目的

• ブラックボックスな深層強化学習（DRL）エージェントの意思決定プロセスが不透明であるため、ユーザーユーザー信頼が欠如しているという問題に対処すること。
• DRLエージェントの現在のパフォーマンスと一般化能力の両方を説明するXAIフレームワークを開発すること。
• このような説明が、自律システムにおけるユーザーユーザー信頼と受容度を向上させるかどうかを評価すること。
• 説明可能なインサイトが提供された際、ユーザーユーザーがDRLエージェントのメンタルモデルをより良く形成できるかどうかを調査すること。

提案手法

• フレームワークは、DRLエージェントの状態価値予測の正確さを定量化するために、価値推定誤差（VEE）を用いる。
• 現在の環境がトレーニングデータとどの程度類似しているかを評価するために、最近傍トレーニングサンプルからの距離（DNTS）を計算する。
• グラフィカルインターフェースが、ゲームプレイ中にVEEおよびDNTSメトリクスをリアルタイムで可視化する。
• 物語的説明は、可視化されたメトリクスを解釈することで、ユーザーユーザーがエージェントの信頼性を理解するのを支援する。
• 人間被験を用いて、XAIインターフェースを備えたDRLエージェントと、それなしのエージェントを比較して評価した。
• ユーザーユーザー信頼と受容度は、信頼、使いやすさ、予測精度に関する5段階リッカート尺度のアンケートで測定された。

実験結果

リサーチクエスチョン

• RQ1 DRLエージェントのパフォーマンスと一般化能力に関する説明を提供することで、ユーザーユーザーのシステム信頼が向上するか？
• RQ2 視覚的および物語的説明により、エージェントの意思決定プロセスが理解されると、ユーザーユーザーはエージェント行動をよりよく予測できるか？
• RQ3 XAIインターフェースは、エージェントの信頼性および一貫性に関するユーザーユーザーの認識にどのように影響するか？
• RQ4 説明なしのインターフェースと比較して、XAIフレームワークはユーザーユーザー受容度をどの程度向上させるか？
• RQ5 説明が、エージェントの能力に関するユーザーユーザーのメンタルモデルをより正確に形成するのを助けるか？

主な発見

• XAIインターフェースは、ユーザー受容度に統計的に有意な向上をもたらした（p = 0.03）。平均スコアは説明なし条件の2.67に比べ、4.02に上昇した。
• XAIインターフェースでは信頼スコアが3.32に上昇したが、説明なし条件の2.60と比較して有意差は認められなかった（p = 0.058）。
• ユーザビリティおよび有用性スコアの平均は4.01であり、中立スケールの3を上回っており、強力な実感された有用性を示した。
• 説明満足度の平均は3.53であり、中立閾値を上回っており、ユーザーが説明を意味のあるものと感じたことを示唆した。
• 予測精度は説明によって有意に向上しなかったため、ユーザーがエージェントの能力に関するより良いメンタルモデルを構築したとは言えない。
• 結果から、説明は受容度を向上させるが、信頼度や予測的理解への影響は限定的であることが示唆された。