[論文レビュー] A Survey of Explainable Reinforcement Learning

Stephanie Milani, Nicholay Topin+2 more|arXiv (Cornell University)|Feb 17, 2022

Explainable Artificial Intelligence (XAI)被引用数 25

ひとこと要約

この調査は説明可能強化学習（XRL）の新しい分類法を提案し、FI、LPM、PLカテゴリにわたる手法をレビューし、ギャップと今後の方向性を概説します。

ABSTRACT

Explainable reinforcement learning (XRL) is an emerging subfield of explainable machine learning that has attracted considerable attention in recent years. The goal of XRL is to elucidate the decision-making process of learning agents in sequential decision-making settings. In this survey, we propose a novel taxonomy for organizing the XRL literature that prioritizes the RL setting. We overview techniques according to this taxonomy. We point out gaps in the literature, which we use to motivate and outline a roadmap for future work.

研究の動機と目的

• デプロイメント上の課題と意思決定の透明性不足により、強化学習における説明可能性の必要性を動機づける。
• 説明を照らすRLの構成要素（FI、LPM、PL）ごとに整理する新しいXRL分類法を導入する。
• 提案された分類法内の代表的なXRL手法の包括的なレビューを提供する。
• 文献のギャップを特定し、評価ベンチマークとRL特有の説明を含む将来の研究ロードマップを概説する。

提案手法

• RLプロセスとエージェントの説明（FI、LPM、PL）を中心としたXRLの新しい分類法を提案する。
• 分類法に従って代表的なXRLアプローチを調査し、分類する。
• RL設定における内在的説明と後付け説明、および局所説明と全体説明を対比する。
• 説明の評価指標について、忠実度、関連性、認知負荷を含めて議論する。
• ベンチマーク、RL特有の説明手法、および説明の性質を含む今後の方向性を強調する。

実験結果

リサーチクエスチョン

• RQ1 XRLにおける説明の主なカテゴリは何で、それらはRLエージェントの異なる部分およびその学習プロセスとどのように関連しているか？
• RQ2 FI、LPM、PLの説明は、エージェントの意思決定と長期的な挙動について何を明らかにする点でどのように異なるか？
• RQ3 現在のXRL文献のギャップは何で、RL特有の説明とベンチマークを進展させるロードマップは何か？
• RQ4 RLコンテキストでの説明はどのように評価すべきか、ユーザ研究や標準化されたベンチマークを含めて？
• RQ5 RLの独自の側面（報酬、遷移、長期的挙動）を活用できる将来のRL特有の説明技術は何か？

主な発見

• XRLの新しい分類法は、エージェントのどの部分を説明するかで手法を整理する：feature importance (FI)、learning process and MDP (LPM)、そして policy-level (PL)。
• FI説明は意思決定に対する行動レベルの、即時の文脈説明を提供し、PL説明は長期的な挙動を要約し、LPM説明はトレーニングやMDPに関連する影響を明らかにする。
• 本研究には本質的に解釈可能なポリシーとポストホック代替説明の混在があり、忠実度と認知負荷のトレードオフがある。
• 多くの現在の手法は監督済み学習から借用しており、報酬や遷移動力学といったRL特有の側面を十分に活用していない。
• 文献には評価手法、ベンチマーキング、RL特有の説明技術のギャップが見られ、標準化されたベンチマークと人間を介した評価のロードマップを促している。