[論文レビュー] GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations

Tobias Huber, Maximilian Demmler+3 more|arXiv (Cornell University)|Feb 24, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、StarGANベースの敵対的学習を用いて、反事後生成をドメイン変換問題として定式化することにより、深層強化学習における視覚的反事後説明を生成するモデルに依存しない手法、GANterfactual-RLを提案する。計算メトリクスにおいて先行研究を上回り、ユーザースタディーでもRLエージェントの戦略理解が著しく向上するが、アーティファクトやプレゼンテーション上の問題により、主観的な満足度は低いままにとどまる。

ABSTRACT

Counterfactual explanations are a common tool to explain artificial intelligence models. For Reinforcement Learning (RL) agents, they answer "Why not?" or "What if?" questions by illustrating what minimal change to a state is needed such that an agent chooses a different action. Generating counterfactual explanations for RL agents with visual input is especially challenging because of their large state spaces and because their decisions are part of an overarching policy, which includes long-term decision-making. However, research focusing on counterfactual explanations, specifically for RL agents with visual input, is scarce and does not go beyond identifying defective agents. It is unclear whether counterfactual explanations are still helpful for more complex tasks like analyzing the learned strategies of different agents or choosing a fitting agent for a specific task. We propose a novel but simple method to generate counterfactual explanations for RL agents by formulating the problem as a domain transfer problem which allows the use of adversarial learning techniques like StarGAN. Our method is fully model-agnostic and we demonstrate that it outperforms the only previous method in several computational metrics. Furthermore, we show in a user study that our method performs best when analyzing which strategies different agents pursue.

研究の動機と目的

• 視覚的入力を有する深層強化学習エージェントに対して、効果的で視覚的な反事後説明が不足している問題に対処すること。
• 「もし〜だったらどうなるか？」や「なぜ〜ではなかったのか？」といった質問に答え、異なるRLエージェントの背後にある戦略を理解できるようにすること。
• エージェントの意思決定を変えるために最小限で現実的である入力の摂動を生成する、モデルに依存しない手法を開発すること。
• 反事後説明が、既存の説明技術を上回ってエージェント行動の理解を向上させるかどうかを評価すること。
• 特にユーザ満足度と信頼のキャリブレーションの面で、現在の反事後説明の限界を同定すること。

提案手法

• 反事後生成をドメイン変換問題として定式化し、元の状態を異なる行動を引き起こす反事後状態に変換する。
• StarGANベースの生成的敵対ネットワークを用いてドメイン変換を実行し、敵対的損失と再構成損失を用いたエンドツーエンドの学習を可能にする。
• 完全にモデルに依存しないアプローチであり、ポリシー関数や報酬関数へのアクセスを必要とせず、任意の事前に訓練されたRLエージェントに適用可能である。
• 生成された反事後状態が、行動の変化を最小限に抑えつつ、知覚的に現実的で、入力の摂動も最小限に抑えるように生成器を訓練する。
• 生成された反事後状態が現実の状態と区別がつかないことを保証するため、識別器を用いる。
• アタリゲームのフレームなど、複雑で高次元の視覚入力に対しても反事後を生成可能である。

Figure 1. Example for a counterfactual explanation: In the original situation (a), the agent does not take the fastest path to the pill in the top right corner. It is unclear if the agent is afraid of the ghost or does not recognize the shortest path. The counterfactual state (b) shows that the agen

実験結果

リサーチクエスチョン

• RQ1 反事後説明は、視覚的入力を有する深層RLエージェントの意思決定戦略を効果的に明らかにできるか？
• RQ2 GANterfactual-RLは、視覚的反事後説明のための唯一の先行手法と比較して、計算効率と忠実度の面でどのように差をつけるか？
• RQ3 反事後説明は、サリエンシーマップや説明なしと比較して、エージェント行動の理解をどの程度向上させるか？
• RQ4 客観的な理解が向上しているにもかかわらず、なぜユーザは反事後説明に対して満足度が低かったのか？
• RQ5 反事後説明は、与えられたタスクに最も適したエージェントを選択するのを支援できるか？

主な発見

• GANterfactual-RLは、成功確率、摂動の大きさ、推論時間といったすべての計算メトリクスにおいて、先行する最先端手法を上回った。
• ユーザースタディーにおいて、GANterfactual-RLを用いた参加者はエージェント理解タスクで50%のスコアを達成し、サリエンシーマップを用いた37%のスコアを著しく上回った。
• 客観的な理解が向上したにもかかわらず、ユーザは反事後説明に対して、説明なしの状況よりも満足度が低く、主観的な使いやすさのギャップが生じた。
• 参加者らは、反事後状態に視覚的アーティファクトが含まれており、これが認識品質と信頼性に悪影響を与えたと指摘した。
• 反事後説明は、戦略理解を超えて、タスクに最適なエージェントを選択する能力を著しく向上させず、これは戦略理解を超えた分野特異的な専門知識が求められるためであった。
• 本研究では、反事後説明がエージェント行動のメンタルモデルの精錬に有効である一方で、エージェントへの信頼のキャリブレーションにはあまり寄与しないことが確認された。

Figure 2. Schematic of our counterfactual generation approach. We formulate the problem as domain transfer where each domain represents an action. States are assigned to domains based on the action that the agent chooses for them.