[論文レビュー] Deep Attention Recurrent Q-Network

Ivan Sorokin, А. А. Селезнев+3 more|arXiv (Cornell University)|Dec 5, 2015

Reinforcement Learning in Robotics参考文献 15被引用数 100

ひとこと要約

本稿では、アテンションメカニズムを長時間記憶ネットワーク（LSTM）と統合した、Deep Q-Network（DQN）の拡張版であるDeep Attention Recurrent Q-Network（DARQN）を提案する。DARQNは、アテンションメカニズムを用いて関連する視覚的領域に注目することで、特定のAtari 2600ゲームにおいてDQNおよびDRQNを上回る性能を達成するとともに、学習行動のオンライン監視が可能な解釈可能なアテンション可視化を提供する。

ABSTRACT

A deep learning approach to reinforcement learning led to a general learner able to train on visual input to play a variety of arcade games at the human and superhuman levels. Its creators at the Google DeepMind's team called the approach: Deep Q-Network (DQN). We present an extension of DQN by "soft" and "hard" attention mechanisms. Tests of the proposed Deep Attention Recurrent Q-Network (DARQN) algorithm on multiple Atari 2600 games show level of performance superior to that of DQN. Moreover, built-in attention mechanisms allow a direct online monitoring of the training process by highlighting the regions of the game screen the agent is focusing on when making decisions.

研究の動機と目的

• Atari 2600ゲームにおける強化学習のためのDeep Q-Network（DQN）の一般化能力および学習効率を向上させること。
• DQNの長期記憶能力の欠如および高コストな訓練時間の問題を、再帰的およびアテンションメカニズムの統合によって解決すること。
• ゲームプレイ中の注目領域の可視化を可能にすることで、エージェントの意思決定の解釈可能性を向上させること。
• 再帰的Qネットワークアーキテクチャにおいて、ソフトアテンションとハードアテンションメカニズムの有効性を評価すること。
• アテンションメカニズムが、パフォーマンスを損なわず計算負荷を低減し、訓練速度を向上させることを検証すること。

提案手法

• 各タイムステップでゲームフレームから特徴マップを抽出するために畳み込みニューラルネットワーク（CNN）を統合する。
• 特徴マップの空間的領域にわたるソフトまたはハードアテンション重みを計算するアテンションネットワークを採用し、コンテキストベクトルを生成する。
• 隠れ状態およびメモリ状態を保持するため、長短記憶（LSTM）ネットワークを用いる。コンテキストベクトルを時間的に統合する。
• ソフトアテンションの場合、多層パーセプトロンとソフトマックスに基づく微分可能なアテンションメカニズムを用いて、特徴ベクトルの重み付き和を計算する。
• ハードアテンションの場合、ポリシー勾配学習を用いた確率的サンプリング機構を用い、1つの注目領域を選択する。
• RMSPropを用いた時間に沿った誤差逆伝播法と$ε$-グリーディ探索戦略を用いて、モデル全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 DQNにアテンションメカニズムを統合することで、標準DQNおよびDRQNと比較して、Atari 2600ゲームにおける性能が向上するか？
• RQ2 アテンションメカニズムの使用により、意思決定中のエージェントの注目領域の可視化が可能となり、解釈性が向上するか？
• RQ3 ソフトアテンションとハードアテンションメカニズムは、異なるAtariゲームにおいて、学習の安定性およびパフォーマンスの観点でどのように比較されるか？
• RQ4 アテンションメカニズムは、深層強化学習モデルにおけるパラメータ数および計算コストを低減できるか？
• RQ5 アテンションメカニズムは、標準DQNが使用する4フレームのコンテキストを超えて、長期記憶能力および時系列一般化能力を向上させるか？

主な発見

• Seaquestでは、ソフトアテンションとハードアテンションの両方のDARQNモデルがDQNおよびDRQNを上回ったが、ソフトアテンションバージョンがより優れた結果を達成した。
• ソフトアテンションメカニズムは、Breakoutではボールの軌道に、Seaquestでは酸素ゲージと敵に注目していることを明確に可視化できた。
• ハードアテンションメカニズムは、Seaquestにおける浮上行動の学習に失敗した可能性が高く、ポリシー勾配学習における局所最適解に陥ったためと推測される。
• Breakoutでは、ソフトおよびハードDARQNモデルの両方とも、元のDQNのパフォーマンスを上回れなかった。これは、アンロール深さの制限または訓練安定性の問題による可能性がある。
• アテンション可視化により、エージェントがボールや敵といった関連するゲーム要素の間で注目を動的にシフトしていることが確認され、意思決定への解釈可能性が得られた。
• アテンションメカニズムにより、注目すべき領域に集中することで入力サイズが有効に縮小された。計算効率の向上が示唆されるが、本稿では明示的に定量化されていない。