[論文レビュー] Explainable Reinforcement Learning for Broad-XAI: A Conceptual Framework and Survey

Richard Dazeley, Peter Vamplew+1 more|arXiv (Cornell University)|Aug 20, 2021

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本論文は、説明可能強化学習（XRL）を広域XAIの基盤として統合するための概念的モデル、Causal XRL Framework（CXF）を提案する。このフレームワークは、知覚、目的、行動、結果の各分野における因果的推論を統合し、単なる意思決定の解釈を超えた多段階的で会話的な説明を可能にする。これにより、信頼性があり社会的に受け入れられるAIシステムの構築において、強化学習（RL）の中心的役割が強調される。

ABSTRACT

Broad Explainable Artificial Intelligence moves away from interpreting individual decisions based on a single datum and aims to provide integrated explanations from multiple machine learning algorithms into a coherent explanation of an agent's behaviour that is aligned to the communication needs of the explainee. Reinforcement Learning (RL) methods, we propose, provide a potential backbone for the cognitive model required for the development of Broad-XAI. RL represents a suite of approaches that have had increasing success in solving a range of sequential decision-making problems. However, these algorithms all operate as black-box problem solvers, where they obfuscate their decision-making policy through a complex array of values and functions. EXplainable RL (XRL) is relatively recent field of research that aims to develop techniques to extract concepts from the agent's: perception of the environment; intrinsic/extrinsic motivations/beliefs; Q-values, goals and objectives. This paper aims to introduce a conceptual framework, called the Causal XRL Framework (CXF), that unifies the current XRL research and uses RL as a backbone to the development of Broad-XAI. Additionally, we recognise that RL methods have the ability to incorporate a range of technologies to allow agents to adapt to their environment. CXF is designed for the incorporation of many standard RL extensions and integrated with external ontologies and communication facilities so that the agent can answer questions that explain outcomes and justify its decisions.

研究の動機と目的

• 説明可能強化学習（XRL）を、従来の解釈可能な機械学習（IML）とは明確に区別される、説明可能AI（XAI）の独立的で基盤的分野として確立すること。
• 現在のXAI研究が主にゼロ次解釈（例：特徴量の重要度）に集中しているという深刻なギャップを是正し、人間の認知的・社会的モデルに整合した多段階的で統合的な説明を提唱すること。
• 知覚、目的、行動、結果の各側面における因果関係を用いて、説明を体系化する概念的フレームワーク「Causal XRL Framework（CXF）」を提唱すること。
• 既存のXRL技術をCXFの各構成要素にマッピングし、目的志向型、感情認識型、階層的RLに基づく説明分野における研究ギャップと今後の方向性を特定すること。
• XRLを単なる意思決定の解釈ツールではなく、会話的で文脈に配慮したエージェント行動の正当化を可能にする、真の広域XAIシステムの認知的基盤として位置づけること。

提案手法

• 知覚、意図、目的、行動を通じてエージェント行動が結果をもたらす仕組みをモデル化する7つの構成要素を持つ、有向因果グラフであるCausal XRL Framework（CXF）を提案する。
• 認知科学と帰属理論から着想を得たCasual Explanation Network（CEN）を適応し、AIエージェントにおける人間のような因果的推論をモデル化する。
• 現在のXRL研究の現状を反映するため、知覚と行動の因果に焦点を当てたSimplified-CXFを導入し、評価のベースラインとして機能させる。
• 既存のXRL技術をCXF構成要素にマッピングする：XRL-Perceptionは特徴抽出と解釈可能性の観点からIML技術を活用するが、最近の手法ではポリシーと価値関数の内省を用いてIMLを越えるアプローチも登場している。XRL-BehaviorはQ値、ポリシー、価値関数の内省を用いて行動系列の説明を実現する。
• 外部オントロジーと通信メカニズムをフレームワークに統合し、説明対象者のニーズに応じた自然言語による説明を可能にする。
• 将来の研究方向性として、イベントベースの説明に向けた予測状態符号化、および階層的・多目的・内発的動機付け型強化学習における説明可能性の向上を提言する。

実験結果

リサーチクエスチョン

• RQ1 XRLを、標準的なIML手法とは明確に区別される広域XAIの根幹的構成要素としてどのように概念化できるか？
• RQ2 知覚、目的、行動、結果の全範囲にわたるRLエージェント行動の包括的説明をモデル化するためには、どのような因果的構成要素が必要か？
• RQ3 現在のXRL技術は、提案されたCausal XRL Framework（CXF）とどの程度整合しており、主な研究ギャップは何か？
• RQ4 階層的・多目的・内発的動機付け型強化学習は、目的志向型および感情認識型の説明をどのように支援できるか？
• RQ5 予測状態表現と期待に基づく推論は、XRLにおけるイベントベースおよび対照的説明の発展にどのような役割を果たすか？

主な発見

• Causal XRL Framework（CXF）は、認知科学にインspiredされた7つの相互接続された構成要素を用いて、RLエージェントにおける因果的推論の全範囲（知覚から結果まで）を的確にマッピングした。
• 現在のXRL-Perception研究の多くは、関数近似と状態特徴の解釈という観点からIML技術に由来しているが、最近の手法ではポリシーと価値関数の内省を用いてIMLを越えるアプローチが登場している。
• XRL-Behavior分野では、RLにおける時間的・順序的推論が行動系列の因果的説明を可能にし、モデルベースおよび価値ベースの手法が動的で解釈可能な説明を提供していることが示された。
• 反事後的および対照的説明は、状態特徴と結果の間の因果的リンクを活用することで登場しており、人間の理解に適合した説明タイプへのシフトが顕著である。
• Simplified-CXFは、知覚と行動の因果に焦点を当てており、現在の最先端技術を反映しており、XRL手法の評価の実用的ベンチマークとして機能する。
• 今後の研究機会として、階層的RL、多目的最適化、内発的動機付け、感情認識型モデルをCXFに統合し、より豊かで文脈に配慮した説明を支援することが挙げられる。