[論文レビュー] Why? Why not? When? Visual Explanations of Agent Behavior in Reinforcement Learning

Aditi Mishra, Utkarsh Soni+2 more|arXiv (Cornell University)|Apr 6, 2021

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

PolicyExplainer は、非専門家ユーザーが強化学習（RL）エージェントを直感的な視覚的説明を用いて、3つの核心的質問である「なぜこの行動をとったのか？」「なぜ他の行動をとらなかったのか？」「この行動はいつとられるのか？」に対してインタラクティブに照会できる視覚的分析システムである。このシステムは、医療やロボット工学など安全が重要な分野において、テキストベースの説明よりも信頼性と理解度を高める。

ABSTRACT

Reinforcement learning (RL) is used in many domains, including autonomous driving, robotics, stock trading, and video games. Unfortunately, the black box nature of RL agents, combined with legal and ethical considerations, makes it increasingly important that humans (including those are who not experts in RL) understand the reasoning behind the actions taken by an RL agent, particularly in safety-critical domains. To help address this challenge, we introduce PolicyExplainer, a visual analytics interface which lets the user directly query an autonomous agent. PolicyExplainer visualizes the states, policy, and expected future rewards for an agent, and supports asking and answering questions such as: Why take this action? Why not take this other action? When is this action taken? PolicyExplainer is designed based upon a domain analysis with RL researchers, and is evaluated via qualitative and quantitative assessments on a trio of domains: taxi navigation, a stack bot domain, and drug recommendation for HIV patients. We find that PolicyExplainer promotes trust and understanding of agent decisions better than a state-of-the-art text-based explanation approach. Interviews with domain practitioners provide further validation for PolicyExplainer as applied to safety-critical domains. Our results help demonstrate how visualization-based approaches can be leveraged to decode the behavior of autonomous RL agents, particularly for RL non-experts.

研究の動機と目的

• 安全が重要な分野において、非専門家ユーザーがエージェントの意思決定を信頼できるようにするため、強化学習（RL）エージェントの解釈可能性の課題に対処すること。
• 実世界の応用において透明性と説明責任を損なう、RL モデルのブラックボックス性を克服すること。
• モデルに依存しない一般用途の視覚的分析インターフェースを設計し、非専門家が RL エージェントをインタラクティブに照会できるようにすること。
• ユーザーの信頼と認知的負荷の観点から、最先端のテキストベースの説明手法と比較して、視覚的説明の有効性を評価すること。
• タクシー走行、HIV薬物推奨、産業用ロボット（StackBot）を含む多様な分野において、システムの実用性を実証すること。

提案手法

• 状態表現、方策意思決定、予想される将来の報酬を、インタラクティブな視覚的エンコーディングにマッピングする視覚的分析インターフェースを開発すること。
• 視覚的比較と時系列強調を用いて、3つの核心的ユーザークエリ「なぜこの行動をとったのか？」「なぜ他の行動をとらなかったのか？」「この行動はいつとられるのか？」をサポートすること。
• 木マップ（treemaps）その他の可視化技術を用いて、状態行動価値（Q値）の分布と状態空間全体における方策行動をエンコードすること。
• モデルに依存しない設計とし、モデルベースおよびモデルフリーの RL アルゴリズムの両方をサポートするが、モデルの再トレーニングは不要であること。
• 専門家インタビューを通じてユーザーのフィードバックループを統合し、技術的でないユーザーの解釈可能性を確保するための視覚的デザインを洗練させること。
• 大規模または連続的な状態空間におけるスケーラビリティを管理するため、次元削減と状態クラスタリング技術を適用するが、将来的には重要度関数を用いた拡張を計画している。

実験結果

リサーチクエスチョン

• RQ1 視覚的分析を用いて、非専門家ユーザーに対して RL エージェント行動を解釈可能に説明する方法は何か？ その際、信頼性を高め、認知的負荷を低減できるか？
• RQ2 「なぜ？」「なぜでない？」「いつ？」という質問に対する視覚的説明とテキストベースの説明を比較した場合、ユーザーの理解度と信頼性にどのような差が生じるか？
• RQ3 視覚インターフェースは、安全が重要な応用を含む多様で現実世界の分野において、RL エージェントのインタラクティブな照会を効果的に支援できるか？
• RQ4 機械学習の専門知識のないユーザーに対して、複雑な RL ポリシーを説明するのに最適なデザイン原則と視覚的エンコーディングは何か？
• RQ5 大規模または連続的な状態空間を扱うにあたり、解釈可能性を維持しながら視覚的説明システムをどのように適応可能にするか？

主な発見

• PolicyExplainer は、自然言語生成を用いた最先端のテキストベースの説明手法と比較して、RL エージェント意思決定の信頼性と理解度を顕著に向上させた。
• ユーザーは視覚的説明の方がテキストベースの説明よりも直感的で、認知的負荷が低く感じられ、特に異なる状態における方策行動の解釈において顕著であった。
• 制御されたユーザー研究において、非専門家参加者が視覚的クエリを使用した際、テキストベースの説明に依存する場合よりもエージェント意思決定の理解度が高かった。
• HIV薬物推奨分野の専門家は、PolicyExplainer の説明が情報量が多く、臨床的推論と整合的であると確認し、安全が重要な医療現場での利用を支持した。
• 本システムは、タクシー走行、HIV治療、ロボット積み木作業の3つの異なる分野に成功裏に適用され、その汎用性と異なる RL 問題への適応可能性を示した。
• 専門家は、将来の強化として、信頼性の可視化、ユーザーのフィードバックに基づく適応型インターフェース、低リテラシーまたはリソースが限られた医療環境でのナラティブアノテーションの導入を提案した。