[論文レビュー] Explain Your Move: Understanding Agent Actions Using Focused Feature Saliency

Piyush Gupta, Nikaash Puri+5 more|arXiv (Cornell University)|Dec 23, 2019

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 12

ひとこと要約

本論文は、標的化された摂動を用いて特異性と関連性のバランスをとることで、深層強化学習エージェントを解釈するための新しいサリエンシー手法を提案する。従来の手法よりも焦点が明確で、人間が理解しやすいサリエンシー・マップを生成し、チェス、ゴン、アーケードゲーム（ブレイクアウト、ピンゴ、スペースインベーダーズ）において優れた解釈性を示している。

ABSTRACT

As deep reinforcement learning (RL) is applied to more tasks, there is a need to visualize and understand the behavior of learned agents. Saliency maps explain agent behavior by highlighting the features of the input state that are most relevant for the agent in taking an action. Existing perturbation-based approaches to compute saliency often highlight regions of the input that are not relevant to the action taken by the agent. Our approach generates more focused saliency maps by balancing two aspects (specificity and relevance) that capture different desiderata of saliency. The first captures the impact of perturbation on the relative expected reward of the action to be explained. The second downweights irrelevant features that alter the relative expected rewards of actions other than the action to be explained. We compare our approach with existing approaches on agents trained to play board games (Chess and Go) and Atari games (Breakout, Pong and Space Invaders). We show through illustrative examples (Chess, Atari, Go), human studies (Chess), and automated evaluation methods (Chess) that our approach generates saliency maps that are more interpretable for humans than existing approaches.

研究の動機と目的

• 複雑な意思決定タスクにおける深層強化学習エージェントの解釈性の欠如に対処すること。
• 既存の摂動ベースのサリエンシー手法が不適切な入力領域を強調するという限界を克服すること。
• 解釈すべき行動への影響（特異性）と、他の行動への影響の最小化（関連性）の両方をバランスさせるサリエンシー手法を開発すること。
• より焦点が明確で意味のある視覚的説明を通じて、エージェント行動の人的解釈性を向上させること。
• 人間と自動評価の両方を用いて、チェスやアーケードゲームを含む多様な環境で、この手法の妥当性を検証すること。

提案手法

• 2つの目的をバランスさせる二重目的最適化を導入：(1) 解釈すべき行動の期待報酬に与える摂動の影響、(2) 他の行動に影響を与える摂動の抑制。
• 勾配に基づく摂動を用いて、入力特徴がエージェントの行動選択に与える影響を推定し、相対的報酬変化に注目する。
• サリエンシー得点は、ターゲット行動の相対的期待報酬変化と、非ターゲット行動に影響を与える摂動をペナルティ化する正則化項を組み合わせて計算する。
• 行動選択への影響を測定しながら、入力特徴を特定的にマスクまたは変更する焦点型摂動戦略を適用する。
• チェス、ゴン、アーケードゲームなどの環境で、深層強化学習によって訓練されたエージェントにこの手法を適用する。
• サリエンシー・マップは、エージェントの行動に与える影響に基づいて入力特徴をランク付けし、意思決定に特に関連性があり特異性のある特徴に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 強化学習におけるエージェント意思決定を分析する際、人間ユーザーにとってより焦点が明確で解釈可能なサリエンシー・マップをどう実現できるか？
• RQ2 特異性と関連性のバランスを取ることで、既存の摂動ベース手法と比較して、サリエンシー説明の質がどの程度向上するか？
• RQ3 提案手法は、チェスやアーケードゲームを含む多様な環境で、より正確で直感的なエージェント推論の可視化を生成できるか？
• RQ4 人間ユーザーは、本手法で生成されたサリエンシー・マップを、ベースライン手法と比較してどのように解釈性が高いと感じるか？
• RQ5 強化学習エージェントの解釈タスクにおいて、サリエンシー・マップの質を信頼性高く評価する定量的指標は何か？

主な発見

• 人間による評価を通じて、チェスエージェントの文脈で、本手法が従来手法よりも人間にとって解釈性が高いサリエンシー・マップを生成することを検証した。
• 関連のない入力特徴（エージェントの選択した行動に影響しないもの）への注意を減らすことで、焦点を明確にした。
• チェスにおける自動評価では、本手法がエージェントの行動選択に最も関連する特徴を、ベースラインを上回って特定した。
• 特異性と関連性の両方を効果的にバランスさせ、行動に最も関連する入力特徴のみを強調するサリエンシー・マップを生成した。
• チェス、ゴン、アーケードゲームからの例示的例では、本手法が従来技術よりも明確で直感的な視覚的説明を生成していることが示された。
• 本手法は、離散的行動ゲームと複雑な戦略ゲームを含む多様な強化学習環境で一貫した性能を示した。