[論文レビュー] Benchmarking Perturbation-based Saliency Maps for Explaining Deep Reinforcement Learning Agents.

Tobias Huber, Benedikt Limmer+1 more|arXiv (Cornell University)|Jan 18, 2021

Explainable Artificial Intelligence (XAI)参考文献 23被引用数 6

ひとこと要約

この論文は、Atari 2600環境における深層強化学習エージェントの説明を目的とした、4つの摂動ベースの類似度マップ手法をベンチマークする。学習済みパラメータへの依存性、入力劣化を用いた忠実度、実行時間の観点から評価することで、各手法の妥当性と効率性のトレードオフを特定し、エージェント意思決定の説明における信頼性に関する実証的証拠を提供する。

ABSTRACT

Recent years saw a plethora of work on explaining complex intelligent agents. One example is the development of several algorithms that generate saliency maps which show how much each pixel attributed to the agents' decision. However, most evaluations of such saliency maps focus on image classification tasks. As far as we know, there is no work which thoroughly compares different saliency maps for Deep Reinforcement Learning agents. This paper compares four perturbation-based approaches to create saliency maps for Deep Reinforcement Learning agents trained on four different Atari 2600 games. All four approaches work by perturbing parts of the input and measuring how much this affects the agent's output. The approaches are compared using three computational metrics: dependence on the learned parameters of the agent (sanity checks), faithfulness to the agent's reasoning (input degradation), and run-time.

研究の動機と目的

• 従来の研究で十分に評価されていない深層強化学習（DRL）の文脈において、既存の摂動ベースの類似度マップ手法を評価・比較すること。
• 入力摂動に対するエージェントの意思決定プロセスをどれだけ正確に反映しているかを忠実度指標を用いて評価すること。
• 学習済みパララメータへの感度を測定することで、類似度マップが学習済みパラメータにどれだけ依存しているかを検証し、健全性のチェックを行うこと。
• 複数回の評価実行における実行時間の測定により、各手法の計算効率を測定すること。
• 解釈可能性研究における重要な空白を埋めるべく、DRLエージェントに特化した包括的な実証的比較を提供すること。

提案手法

• 摂動ベースの類似度マップは、入力ピクセルを体系的にマスキングまたは変更し、エージェントの出力に及ぼす変化を測定することで生成される。
• 4つの異なる摂動戦略が適用される：ランダムマスキング、類似度誘導マスキング、勾配ベースマスキング、勾配フィードバックを用いた反復的マスキング。
• 忠実度は、摂動を加えた入力をエージェントに与えた際の性能低下を測定することで評価され、入力劣化曲線が用いられる。
• 健全性のチェックでは、類似度マップが学習済みパラメータ（方策ネットワーク重み）にどれだけ感度を示すかを測定することで、学習済みパラメータへの依存性を評価する。
• 実行時間の効率性は、複数回の評価実行における類似度マップ生成に要する時間を測定することで評価される。
• 実験は、深層Qネットワーク（DQN）およびデュアルDQNアーキテクチャで学習されたDRLエージェントを用いて、4つのAtari 2600ゲームで実施される。

実験結果

リサーチクエスチョン

• RQ1 異なる摂動ベースの類似度マップ手法は、エージェントの学習済みパラメータへの依存性においてどのように異なるか？
• RQ2 入力摂動に対するエージェントの意思決定プロセスをどれだけ忠実に反映しているか、最も忠実度の高い類似度マップ手法はどれか？
• RQ3 4つの類似度マップ生成手法間で、計算コストにどのような差があるか？
• RQ4 視覚的・制御的複雑性の異なるさまざまなAtari 2600ゲームにおいて、類似度マップはどのように振る舞うか？
• RQ5 摂動ベース手法は、DRLエージェント意思決定における重要な視覚的特徴を信頼性を持って特定できるか？

主な発見

• 反復的勾配マスキングに基づく類似度マップ手法が最も忠実度が高く、摂動の影響と実際のエージェント性能低下の間で強い相関が観察された。
• 勾配ベースの摂動を用いた類似度マップは、学習済みパラメータへの依存性が強く、健全性チェックに良好に適合していることが示された。
• ランダムマスキングは最も信頼性の低い類似度マップを生成し、忠実度が低く、方策パrameterへの感度も一貫性に欠けていた。
• 反復的勾配手法は最も高い実行時間コストを示した一方で、ランダムマスキングは最も速く、忠実度と効率性のトレードオフが明確に示された。
• すべての手法が、視覚的特徴が目立つゲーム（高コントラストな視覚的特徴を有するゲーム）ではより良い性能を示したが、ゲーム固有の視覚パターンに感度を示す程度に差が見られた。
• 本研究では、忠実度と健全性が常に一致するわけではないことが確認された。一部の手法は健全性チェックに合格していたが、忠実度評価では失敗していた。