[論文レビュー] Counterfactual States for Atari Agents via Generative Deep Learning

Matthew Olson, Lawrence Neal+2 more|arXiv (Cornell University)|Sep 27, 2019

Explainable Artificial Intelligence (XAI)参考文献 17被引用数 17

ひとこと要約

本稿では、訓練済みの深層強化学習エージェントが異なる行動を選択するように変化させる最小限の視覚的変更を伴う対向状態を生成するための生成的深層学習手法を提案する。ワサーライン・オートエンコーダーと潜在空間最適化を用いることで、現実的で最小限の変更を加えた対向状態を生成し、30名の参加者を対象としたユーザースタディにより、非専門家ユーザーのエージェント意思決定の理解が顕著に向上することが示された。

ABSTRACT

Although deep reinforcement learning agents have produced impressive results in many domains, their decision making is difficult to explain to humans. To address this problem, past work has mainly focused on explaining why an action was chosen in a given state. A different type of explanation that is useful is a counterfactual, which deals with "what if?" scenarios. In this work, we introduce the concept of a counterfactual state to help humans gain a better understanding of what would need to change (minimally) in an Atari game image for the agent to choose a different action. We introduce a novel method to create counterfactual states from a generative deep learning architecture. In addition, we evaluate the effectiveness of counterfactual states on human participants who are not machine learning experts. Our user study results suggest that our generated counterfactual states are useful in helping non-expert participants gain a better understanding of an agent's decision making process.

研究の動機と目的

• エージェントが異なる行動を選択するように変化させる最小限の視覚的変更を伴う対向状態を生成する手法を開発すること。
• 直感的な「もし～ならどうなるか？」の説明を提供することで、深層強化学習エージェントの解釈可能性を向上させること。
• 非専門参加者によるユーザースタディを通じて、生成された対向状態の現実性と有用性を評価すること。
• 視覚的強化学習環境において忠実で意味のある対向説明を生成するために、潜在空間の操作の可能性を検討すること。
• リプレイ中にエージェント行動を検査・検証できるツールをエンドユーザーに提供し、信頼性と受容性を高めること。

提案手法

• 事前に訓練済みのDQNエージェントから抽出された内部状態表現（潜在コード）の分布をモデル化するため、ワサーライン・オートエンコーダー（WAE）を訓練する。
• 元の状態とターゲットの潜在コード間のL2距離を最小化するように潜在空間で最適化を行い、同時にエージェント方策が異なる行動を選択するようにする。
• 最適化された潜在コードを画像空間に復号するために、条件付き生成ネットワークを用いる。
• 元の状態に対して最小限で現実的な摂動を加えるために、潜在空間における勾配ベースの最適化を活用する。
• ヒューリスティックに基づくキーフレーム選択を用い、対向分析に適した高エントロピー状態を優先的に使用する。
• 実ゲームフレームとの比較およびアブレーションスタディを実施し、現実性と有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚的環境における強化学習エージェントが特定の行動を選択した理由を説明するために、深層生成モデリングを用いて対向状態を生成できるか？
• RQ2 非専門家ユーザーが評価した場合、生成された対向状態は実ゲームフレームと比べてどれほど現実的か？
• RQ3 対向状態は、非専門家ユーザーのエージェント意思決定プロセスの理解をどの程度向上させるか？
• RQ4 生成された対向状態に見られる主なアーティファクトや制限要因は何か。それらは解釈性にどのように影響するか？
• RQ5 領域埋め込みやパッチ置換といった代替手法と比較して、本手法は意味のある対向状態を生成する上でどのように優れているか？

主な発見

• 生成された対向状態の平均的現実性評価は6点満点で4.00であり、実ゲームフレームと有意差がない（p = 0.458）という結果となり、強い知覚的現実性を示した。
• 30名中15名の参加者が、対向状態を視聴した後にエージェントの意思決定プロセスの理解が向上したと報告した。一様片側Wilcoxon符号順位検定のp値は0.098であった。
• 本手法は、エージェントの内部表現空間を効果的に操作し、最小限の視覚的変更で行動を変更できる対向状態を成功裏に生成した。
• ぼやけた画像や小さな物体（例：スペースインベーダーズにおける弾）の消失といったアーティファクトが観察されたが、それらはユーザーの理解を著しく損なわなかった。
• ユーザースタディの結果、非専門家が馴染みのない「対向説明」の概念を理解するには、ガイド付きの対面チュートリアルが不可欠であることが明らかになった。
• 領域埋め込みやパッチ置換といった代替手法は、ゲームルール違反や視覚的一致性の欠如により、現実的でない対向状態を生成するのに対し、本手法はそれらを上回る性能を示した。