[論文レビュー] Distal Explanations for Explainable Reinforcement Learning Agents

Prashan Madumal, Tim Miller+2 more|arXiv (Cornell University)|Jan 28, 2020

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 13

ひとこと要約

本論文は、反復ニューラルネットワークを用いて因果モデルと意思決定木を統合する遠隔説明モデルを提案し、説明可能な強化学習のための反事後的要因と機会連鎖（例：AがBを可能にし、BがCを引き起こす）を生成する。6つの強化学習ベンチマークと90名の参加者を対象としたユーザースタディーを通じて評価された結果、敵対的、探索救助、共同作業のシナリオにおいて、ベースラインの説明モデルと比較して、タスク予測精度とユーザの理解度が向上した。

ABSTRACT

Causal explanations present an intuitive way to understand the course of events through causal chains, and are widely accepted in cognitive science as the prominent model humans use for explanation. Importantly, causal models can generate opportunity chains, which take the form of `A enables B and B causes C'. We ground the notion of opportunity chains in human-agent experimental data, where we present participants with explanations from different models and ask them to provide their own explanations for agent behaviour. Results indicate that humans do in-fact use the concept of opportunity chains frequently for describing artificial agent behaviour. Recently, action influence models have been proposed to provide causal explanations for model-free reinforcement learning (RL). While these models can generate counterfactuals---things that did not happen but could have under different conditions---they lack the ability to generate explanations of opportunity chains. We introduce a distal explanation model that can analyse counterfactuals and opportunity chains using decision trees and causal models. We employ a recurrent neural network to learn opportunity chains and make use of decision trees to improve the accuracy of task prediction and the generated counterfactuals. We computationally evaluate the model in 6 RL benchmarks using different RL algorithms, and show that our model performs better in task prediction. We report on a study with 90 participants who receive explanations of RL agents behaviour in solving three scenarios: 1) Adversarial; 2) Search and rescue; and 3) Human-Agent collaborative scenarios. We investigate the participants' understanding of the agent through task prediction and their subjective satisfaction of the explanations and show that our distal explanation model results in improved outcomes over the three scenarios compared with two baseline explanation models.

研究の動機と目的

• モデルフリー強化学習のための行動影響モデルにおいて、機会連鎖説明の欠如を解消すること。
• 人間の認知的説明パターンを模倣する因果的連鎖をモデル化することで、RLエージェント行動の理解を向上させること。
• 意思決定木とRNNを用いて反事後的推論と機会連鎖生成を統合する統一フレームワークの開発。
• 提案モデルの有効性を、多様なRLシナリオにおける計算ベンチマークと人間を含むフィードバックスタディーの両方で評価すること。

提案手法

• モデルは反復ニューラルネットワークを用いて、エージェント行動シーケンスから機会連鎖を学習・生成する。
• 意思決定木を適用してタスク予測を精緻化し、生成された反事後的要因の正確性を向上させる。
• 因果モデルを統合して、生成された機会連鎖内の因果関係を分析・構造化する。
• 反事後的要因生成と機会連鎖モデリングを統合することで、より直感的で人間中心の説明を生み出す。
• 複数のRLアルゴリズムを用いて6つのRLベンチマークで計算的評価を行い、タスク予測性能を評価する。
• 3つのシナリオ（敵対的、探索救助、人間エージェント協働）を対象とした90名の参加者を対象としたユーザースタディーで説明の質を評価する。

実験結果

リサーチクエスチョン

• RQ1 『AがBを可能にし、BがCを引き起こす』という構造を持つ機会連鎖は、RLエージェント行動の説明として人間の説明パターンに適切に適合するか？
• RQ2 機会連鎖を反事後的推論と統合することで、RLエージェントにおけるタスク予測精度はどの程度向上するか？
• RQ3 提案された遠隔説明モデルは、ベースラインの説明モデルと比較して、人間ユーザのエージェント行動理解をどの程度向上させるか？
• RQ4 多様なRLシナリオにおいて、ユーザは提案モデルの説明をどれほど満足感を持って受け入れるか？

主な発見

• 提案モデルは、ベースラインモデルと比較して6つのRLベンチマークすべてでタスク予測精度が顕著に向上した。
• 3つのシナリオすべてにおいて、参加者は提案モデルが生成した説明を受けることで、タスク予測性能が向上した。
• ユーザスタディーにおいて、参加者は2つのベースラインモデルと比較して、提案モデルの説明に対してより高い主観的満足度を示した。
• 参加者が提供した説明による検証を通じて、モデルは人間の認知的説明パターンに適合する機会連鎖を効果的に生成した。
• 意思決定木の統合により、モデル内での反事後的要因生成とタスク予測の両方の正確性が向上した。
• 計算的評価とユーザ評価の両方において、提案モデルはベースラインを上回り、多様なRL環境において高い頑健性を示した。