[論文レビュー] Explain Your Move: Understanding Agent Actions Using Specific and Relevant Feature Attribution

Nikaash Puri, Sukriti Verma+5 more|arXiv (Cornell University)|Dec 23, 2019

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 32

ひとこと要約

SARFA は摂動ベースのサリエンシー手法を導入し、アクション特異的で関連性の高い特徴を強調し、チェス、Go、 Atari における RL エージェントの行動を以前のアプローチよりも解釈しやすい説明を生み出す。特定性（選択されたアクションへの影響）と関連性（他のアクションへの影響を最小化）を調和平均で組み合わせる。

ABSTRACT

As deep reinforcement learning (RL) is applied to more tasks, there is a need to visualize and understand the behavior of learned agents. Saliency maps explain agent behavior by highlighting the features of the input state that are most relevant for the agent in taking an action. Existing perturbation-based approaches to compute saliency often highlight regions of the input that are not relevant to the action taken by the agent. Our proposed approach, SARFA (Specific and Relevant Feature Attribution), generates more focused saliency maps by balancing two aspects (specificity and relevance) that capture different desiderata of saliency. The first captures the impact of perturbation on the relative expected reward of the action to be explained. The second downweighs irrelevant features that alter the relative expected rewards of actions other than the action to be explained. We compare SARFA with existing approaches on agents trained to play board games (Chess and Go) and Atari games (Breakout, Pong and Space Invaders). We show through illustrative examples (Chess, Atari, Go), human studies (Chess), and automated evaluation methods (Chess) that SARFA generates saliency maps that are more interpretable for humans than existing approaches. For the code release and demo videos, see https://nikaashpuri.github.io/sarfa-saliency/.

研究の動機と目的

• 深層強化学習エージェントがボードゲームとアーケードゲームに適用される際に、解釈可能な説明を促進する。
• エージェントが選択した特定のアクションに関連する特徴に焦点を当てたサリエンシー手法を開発する。
• 非関連な特徴を強調したり、アクション効果を均一化する従来の摂動ベースのサリエンシー手法の限界に対処する。

提案手法

• 状態特徴 f 毎に摂動と Q 値に基づいてサリエンシー S[f] を定義する。
• Q 値のソフトマックスを用いて相対リターン P(s, 「a」) と選択アクションの摂動影響 Δp を計算する。
• 選択されたアクションを除く正規化された相対リターン間のKLダイバージェンスを用いて関連項を計算する。
• Δp と類似性 K = 1/(1 + D_KL) を調和平均で結合し S[f] = 2KΔp/(K+Δp) とする。
• サリエンシーが選択されたアクションに具体的に影響を与える特徴を強調しつつ、他のアクションに影響を与える特徴を抑制することを保証する。
• ブラックボックス Q(s, a) アクセスの下で Chess (Stockfish)、Go (MiniGo)、Atari (Breakout, Pong, Space Invaders) に対して SARFA を評価する。

実験結果

リサーチクエスチョン

• RQ1 SARFA は従来の摂動ベースの手法よりもアクションに焦点を当てた人間に解釈しやすいサリエンシーマップを生成するか？
• RQ2 特定性と関連性はチェス、Go、Atari の領域での人間の理解をどのように改善するのに寄与するか？
• RQ3 SARFA はチェスの戦術モチーフを明らかにし、人間のパズル解決能力を向上させるか？
• RQ4 SARFA は摂動に対して頑健で、ブラックボックス RL エージェントに適用可能か？

主な発見

• SARFA は選択された手やアクションと実際に関連する駒や領域を強調する、より焦点を絞ったサリエンシーマップを生成する。
• チェスのパズルで人間参加者を対象とした場合、SARFA のサリエンシーはベースラインと比較して正確さが 72.41%、解答時間が 67.02 秒と向上した。
• SARFA のチェスデータセット ROC 分析は Greydanus らと Iyer らのアプローチよりも人間に関連する駒を特定する能力が高い。
• SARFA のガイド付きでチェスのパズルを解く人間は、いくつかの設定でベースラインより約 25% 高い正確さと約 31% 速い解答を示した。
• SARFA はサリエンシーを通じて戦術モチーフ（ピン、2手詰め、過負荷など）の直感的な説明を示す。
• 頑健性テストでは、ターゲットアクションを変えない摂動に対して SARFA サリエンシーは安定しており（ perturbed データセットでの AUC は約 0.92）。