[論文レビュー] Exploratory Not Explanatory: Counterfactual Analysis of Saliency Maps for Deep Reinforcement Learning

Akanksha Atrey, Kaleigh Clary+1 more|arXiv (Cornell University)|Dec 9, 2019

Explainable Artificial Intelligence (XAI)参考文献 47被引用数 31

ひとこと要約

本論文は、深層強化学習（DRL）エージェントにおけるsalienceマップが、環境特徴と行動の間の因果的で意味論的な関係を反映しているかどうかを評価するための反事後介入フレームワークを提案する。アタリゲームの状態に対して標的的なピクセル摂動を加え、salienceとエージェント行動の変化を測定することで、著者らはsalienceマップがしばしば意味的な因果的リンクを捉えておらず、説明的よりも探索的ツールとして適していると結論づけている。

ABSTRACT

Saliency maps are frequently used to support explanations of the behavior of deep reinforcement learning (RL) agents. However, a review of how saliency maps are used in practice indicates that the derived explanations are often unfalsifiable and can be highly subjective. We introduce an empirical approach grounded in counterfactual reasoning to test the hypotheses generated from saliency maps and assess the degree to which they correspond to the semantics of RL environments. We use Atari games, a common benchmark for deep RL, to evaluate three types of saliency maps. Our results show the extent to which existing claims about Atari games can be evaluated and suggest that saliency maps are best viewed as an exploratory tool rather than an explanatory tool.

研究の動機と目的

• 現実のDRLエージェント行動の説明に、salienceマップがどのように使われているかを調査すること。
• 特に検証不能で主観的な性質を有する既存のsalienceベースの説明の限界を特定すること。
• salienceマップから導かれる仮説を実証的に検証できるように、介入に基づく反事後手法を構築すること。
• アタリ環境におけるピクセルレベルのsalience推論と人間の意味論的推論との対応関係を評価すること。
• salienceマップが環境の意味論的要因とエージェントの意思決定との間の因果的関係をしばしば反映していないことを示すこと。

提案手法

• アタリゲーム状態の制御された摂動をシミュレートするため、ToyBox環境を用いた反事後介入フレームワークを設計する。
• ブレイクアウトや他のアタリゲームにおけるDRLエージェントに、勾配ベース、統合勾配、ガイドドバックプロパゲーションの3種類のsalienceマップを適用する。
• ゲーム要因（例：ボール、パドル、ブリック）を垂直または水平方向に反転させることで、対称性と因果的一致性をテストする標的介入を実施する。
• 各介入後のsalienceパターンとエージェント行動（行動選択、報酬推定）の変化を測定し、仮説の妥当性を評価する。
• 人間によるアノテーションによる意味論的コンセプト（例：ブレイクアウトにおける「トンネル」）を基準点として、ピクセルレベルのsalienceと意味論的推論の比較を行う。
• 環境状態、エージェント方策、salience出力の間の関係を形式化するための因果グラフィカルモデリングを適用し、構造的な仮説検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 salienceマップは、意味論的特徴（例：ブレイクアウトにおけるトンネル）とエージェント行動との間の因果的関係をどの程度反映しているか？
• RQ2 環境状態の対称的摂動に対して、salienceパターンは期待どおりに一貫性を保っているか？（すなわち、真の意味論的推論を反映しているとすればそうなるはずである。）
• RQ3 ピクセルレベルのsalience推論と、人間によるエージェント行動に関する意味論的推論はどの程度整合しているか？
• RQ4 反事後介入は、DRLにおけるsalienceマップから導かれる一般的な仮説を検証不能にできるか？
• RQ5 視覚ベースの深層強化学習において、salienceマップを説明的ツールとして使用する際の限界は何か？

主な発見

• ゲーム要因の対称的反転に対して、salienceマップはsalienceパターンを保持しないことが判明し、これは『トンネル』のような意味論的構造に結びついたエージェント行動を信頼性高く反映していないことを示している。
• ブレイクアウトにおけるトンネル周辺のsalienceの強度とパターンは、水平または垂直の反転に対して不変ではなく、エージェントがトンネルを狙うように学習しているという主張を揺るがす。
• salienceマップはしばしばエージェントの意思決定プロセスにとって意味的でない領域を強調しており、これは環境の意味論的特徴ではなく、モデル固有のアーチファクトを反映している可能性を示唆している。
• salienceに基づく推論と人間がアノテートした意味論的コンセプトとの対応関係は弱く、salienceマップが検証可能な説明を生成するには信頼できないことを示している。
• 反事後介入はsalienceベースの説明の欠陥を効果的に露呈し、それらが仮説生成には適しているが、検証には不適切であることを示している。
• 本研究は、salienceマップは深層強化学習において説明的ツールとしてではなく、探索的ツールとして使用すべきであると結論づけている。