[論文レビュー] Transparency and Explanation in Deep Reinforcement Learning Neural Networks

Rahul Iyer, Yuezhang Li+4 more|D-Scholarship@Pitt (University of Pittsburgh)|Sep 17, 2018

Explainable Artificial Intelligence (XAI)参考文献 23被引用数 16

ひとこと要約

本稿は、明示的なオブジェクト認識と価値（正の/負の影響）を強化学習（DRL）モデルに統合する、オブジェクトに敏感な深層強化学習（O-DRL）フレームワークを提案する。このフレームワークにより、解釈可能なオブジェクトサリエンシーマップが生成され、どのゲームオブジェクトが方策意思決定を駆動しているかを可視化できる。これにより、人間が理解可能な説明が可能となり、人間実験の結果、特に報酬が曖昧な複雑なシナリオにおいて、生のスクリーンショットと同等の有効性を示した。

ABSTRACT

Autonomous AI systems will be entering human society in the near future to provide services and work alongside humans. For those systems to be accepted and trusted, the users should be able to understand the reasoning process of the system, i.e. the system should be transparent. System transparency enables humans to form coherent explanations of the system's decisions and actions. Transparency is important not only for user trust, but also for software debugging and certification. In recent years, Deep Neural Networks have made great advances in multiple application areas. However, deep neural networks are opaque. In this paper, we report on work in transparency in Deep Reinforcement Learning Networks (DRLN). Such networks have been extremely successful in accurately learning action control in image input domains, such as Atari games. In this paper, we propose a novel and general method that (a) incorporates explicit object recognition processing into deep reinforcement learning models, (b) forms the basis for the development of "object saliency maps", to provide visualization of internal states of DRLNs, thus enabling the formation of explanations and (c) can be incorporated in any existing deep reinforcement learning framework. We present computational results and human experiments to evaluate our approach.

研究の動機と目的

• 深層強化学習（DRL）エージェントの不透明性が、ユーザーの信頼やシステムデバッグを妨える問題に対処する。
• 学習プロセスにオブジェクトレベルの特徴を統合することで、自律エージェントが意思決定の説明を人間が理解できる形で提供できるようにする。
• 既存のDRLフレームワークのアーキテクチャを大幅に見直さずに、一般化可能な手法を構築する。
• 計算的および人間による実験を通じて、オブジェクトサリエンシーマップがDRLエージェント行動の理解をどのように向上させるかを評価する。

提案手法

• DRLネットワークアーキテクチャに明示的なオブジェクト認識とオブジェクト価値（正/負の報酬影響）を統合する。
• 既存のDRLフレームワーク（例：DQN、A3C）を変更し、状態表現におけるオブジェクト特徴とそのサリエンシーを処理するブランチを追加する。
• 標準的なDRL損失関数を用いてエンドツーエンドでO-DRLモデルを学習させつつ、サリエンシー得点のバックプロパゲーションを維持する。
• Q値または方策出力に対してオブジェクト特徴に関する勾配を計算することで、意思決定に最も寄与するオブジェクトを特定するサリエンシーマップを生成する。
• これらのサリエンシーマップを用いて、Ms. Pac-Manにおけるオブジェクト（例：ドット、ゴースト、チェリー）の相対的重要性と価値（正/負）を可視化する。
• オブジェクトに明確な報酬意味を持つアタリゲーム（例：Ms. Pac-Man）にこの手法を適用し、解釈可能性と人間の理解度をテストする。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトに配慮したDRLモデルは、内部意思決定プロセスを人間が可視化できるようにすることで、透明性を向上させられるか？
• RQ2 生のゲームスクリーンショットと比較して、オブジェクトサリエンシーマップは人間がDRLエージェント行動を予測するのに対してどの程度有効か？
• RQ3 複数の影響要因を持つオブジェクトが関与する複雑な意思決定シナリオにおいて、サリエンシーマップは視覚フレーム単体よりもはっきりとした洞察を提供できるか？
• RQ4 オブジェクトサリエンシーマップは、DRLエージェントの非最適または予期しない行動を特定・説明するのを支援できるか？

主な発見

• オブジェクトサリエンシーマップは、Ms. Pac-ManにおけるDRLエージェント行動の予測において、生のスクリーンショットと同等の有効性を示した。
• 複雑なシナリオ（例：左に移動するか下に移動するかの選択肢がある場合）では、サリエンシーマップを使用した参加者の60％が、オブジェクト価値（例：下にあるドット）に基づいてエージェントの行動を正しく予測した。
• それに対して、スクリーンショットを使用した参加者の75％は、左にあるチェリーを根拠にエージェントが左に曲がると予測しており、サリエンシーマップが視覚フレームからは明らかでない意思決定要因を明らかにしていることが示された。
• 結果から、オブジェクトサリエンシーマップは、報酬構造が直感的でない行動を引き起こす場合に、DRLポリシーの真の意思決定根拠を露にする可能性があることが示唆された。
• 試行ごとのパフォーマンス差異から、視覚的文脈が不十分な曖昧または高認知負荷のシナリオにおいて、サリエンシーマップが特に価値があることがわかった。
• 本手法は一般化可能であり、DQN や A3C などの既存のDRLフレームワークに、主要なアーキテクチャ変更なしに統合可能である。