[論文レビュー] Learn to Interpret Atari Agents

Zhao Yang, Song Bai+2 more|arXiv (Cornell University)|Dec 29, 2018

Reinforcement Learning in Robotics参考文献 34被引用数 15

ひとこと要約

本論文では、推論中にアタリゲームのフレーム内の顕著な領域を特定・可視化できる、学習可能な注目モジュールを統合したエンドツーエンド微分可能なディープQネットワークエージェント、Region-Sensitive Rainbow (RS-Rainbow) を提案する。注目モジュールから入力へ勾配を逆伝播させることで、RS-Rainbow は、標準の Rainbow と比較して性能を向上させつつ、意思決定の可視化をリアルタイムで人間が解釈可能な形で実現する。

ABSTRACT

Deep reinforcement learning (DeepRL) agents surpass human-level performance in many tasks. However, the direct mapping from states to actions makes it hard to interpret the rationale behind the decision-making of the agents. In contrast to previous a-posteriori methods for visualizing DeepRL policies, in this work, we propose to equip the DeepRL model with an innate visualization ability. Our proposed agent, named region-sensitive Rainbow (RS-Rainbow), is an end-to-end trainable network based on the original Rainbow, a powerful deep Q-network agent. It learns important regions in the input domain via an attention module. At inference time, after each forward pass, we can visualize regions that are most important to decision-making by backpropagating gradients from the attention module to the input frames. The incorporation of our proposed module not only improves model interpretability, but leads to performance improvement. Extensive experiments on games from the Atari 2600 suite demonstrate the effectiveness of RS-Rainbow.

研究の動機と目的

• 深層強化学習（DRL）エージェントは通常ブラックボックスであるが、その内在的な解釈可能性の欠如に対処するため。
• 人間の介入や複数回の順伝播を要する後処理による解釈手法の限界を克服するため。
• 1つのエンドツーエンド学習プロセスで、解釈可能性と性能の両方を向上させる学習ベースの解釈フレームワークを開発するため。
• 外部教師信号なしで、リアルタイムかつ勾配ベースの意思決定関連領域の可視化を実現するため。
• 解釈モジュールが DRL エージェントの一般化性能と性能を向上させることを検証するため。

提案手法

• Rainbow DQN アーキテクチャに統合可能な領域感受性モジュールを導入し、入力フレーム上の注目パターンを予測する。
• 注目モジュールは空間的領域に重要度スコアを割り当て、スクリーンの異なる部分が行動意思決定にどのように影響するかをモデル化する。
• 推論時、各注目パターンにおける最も重要な領域から入力フレームへ勾配を逆伝播させ、顕著マップを生成する。
• 注目モジュールは、標準の強化学習目的関数を用いて、主な DQN ヘッドとエンドツーエンドで訓練される。
• 本手法は勾配ベースの顕著性を活用し、意思決定時の実際のエージェントの注目状態を反映する視覚的説明を生成する。
• 本アーキテクチャは汎用的であり、他の CNN に基づく DRL モデルへも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 後処理分析なしに、意思決定に関連する視覚的領域を内在的に強調できるように深層強化学習エージェントを訓練できるか？
• RQ2 注目に基づく解釈モジュールを統合することで、DRL エージェントの解釈可能性と性能の両方が向上するか？
• RQ3 注目モジュールから導出される勾長ベースの顕著マップは、アタリエージェントにおける意味のある戦略や機能的オブジェクト認識を明らかにできるか？
• RQ4 RS-Rainbow の性能は、アタリ 2600 サイズの標準 Rainbow や他の最先端エージェントと比較してどうなるか？
• RQ5 RS-Rainbow からの可視化は、エージェントの失敗や誤予測の原因をどの程度解明できるか？

主な発見

• RS-Rainbow はいくつかのアタリ 2600 ゲームで最先端の性能を達成し、元の Rainbow エージェントを上回った。
• 注目モジュールにより、リアルタイムで勾長ベースの顕著マップが生成され、敵、パワーインパルス、障害物などの機能的オブジェクトが強調された。
• 可視化結果から、エージェントが人間の戦略と整合的に、プレイヤーの位置、敵の船、弾丸などの関連要素に注目していることが明らかになった。
• 本手法は意思決定に不可欠な領域を的確に特定できており、特に重要なオブジェクトを検出できなかった失敗事例においても、診断的インサイトを提供した。
• 領域感受性モジュールはサンプル効率と一般化性能を向上させた。これは、本フレームワークにおいて解釈可能性と性能が相乗効果をもたらす可能性を示唆している。
• 本手法は汎用的であり、他の DQN ベースのモデルへも適用可能であり、ポリシー勾配法やマルチエージェント環境へも拡張可能である可能性を示している。