[論文レビュー] Exploratory Not Explanatory: Counterfactual Analysis of Saliency Maps for Deep RL

Akanksha Atrey, Kaleigh Clary+1 more|arXiv (Cornell University)|Dec 9, 2019

Explainable Artificial Intelligence (XAI)被引用数 3

ひとこと要約

本稿では、アタリゲームをベンチマークとして用い、深層強化学習（DRL）におけるsalient mapの解釈の妥当性を評価するための反事後的評価フレームワークを提案する。実験の結果、多くの主張が反事後的摂動によって検証可能でなく、意味論的に一貫性のないことが判明したため、salient mapは説明よりも探索に適していることが示された。

ABSTRACT

Saliency maps are frequently used to support explanations of the behavior of deep reinforcement learning (RL) agents. However, a review of how saliency maps are used in practice indicates that the derived explanations are often unfalsifiable and can be highly subjective. We introduce an empirical approach grounded in counterfactual reasoning to test the hypotheses generated from saliency maps and assess the degree to which they correspond to the semantics of RL environments. We use Atari games, a common benchmark for deep RL, to evaluate three types of saliency maps. Our results show the extent to which existing claims about Atari games can be evaluated and suggest that saliency maps are best viewed as an exploratory tool rather than an explanatory tool.

研究の動機と目的

• 深層強化学習におけるsalient map解釈の、検証可能で客観的な評価の欠如を解消すること。
• salient mapがRL環境の状態特徴の意味論的関連性を正確に反映しているかどうかを調査すること。
• salient mapから導かれた仮説を検証するための反事後的推論フレームワークを提案・適用すること。
• salient mapに基づくDRLエージェント行動に関する既存の主張が、意味論的摂動のもとでどの程度成立するかを評価すること。

提案手法

• アタリ環境の入力状態に対して、salient mapで特定された顕著領域を体系的に摂動すること。
• Grad-CAM、Grad、Integrated Gradientsの3種類のsalient mapを用いて、エージェント行動に関する仮説を生成すること。
• 顕著領域を摂動した後のエージェント方策および報酬の変化を測定し、予測通りの変化が生じるかを検証すること。
• 環境の意味論的構造と整合性があるかどうかを評価することで、salient mapの意味論的一致性を比較すること。
• 再現性と反事後的テストの妥当性を確保するため、標準的なアタリ環境で制御された実験設定を採用すること。
• 摂動がエージェント行動に予測可能で意味論的に明確な変化をもたらすかどうかを分析することで、salient map解釈の検証可能性の度合いを評価すること。

実験結果

リサーチクエスチョン

• RQ1 DRLエージェントのsalient map解釈は、アタリゲーム環境の実際の意味論とどの程度一致するか？
• RQ2 反事後的摂動を用いて、salient mapから導かれた仮説を検証または反証できるか？
• RQ3 salient mapは、深層RLエージェントの行動に関連する状態特徴をどの程度信頼できるか？
• RQ4 salient領域を摂動した際に、salient mapが一貫性があり意味論的に明確な変化をエージェント方策に引き起こすか？
• RQ5 salient mapに基づくエージェント行動に関する既存の主張は、反事後的分析によって実証可能か？

主な発見

• 顕著領域への摂動が期待されるエージェント行動の変化を一貫してもたらさないため、salient mapが生成する多くの仮説は検証不能である。
• 多くのsalient map解釈は、アタリゲームの意味論的構造と一致せず、salientと意味的環境特徴との間には対応が乏しいことが示された。
• 反事後的分析により、salient mapの主張の大部分が摂動ベースのテストによって検証できないことが明らかになった。
• 研究結果から、salient mapは説明よりも仮説生成に有効であることが示された。これは、主観的かつ非意味論的解釈に脆弱であるためである。
• 結果として、現在のDRLにおけるsalient手法は、制御された反事後的評価において、頑健性と意味論的根拠に欠けていることが示唆された。
• 本稿は、salient mapを深層強化学習における主に探索的ツールとして扱うべきであると結論づけた。