[論文レビュー] An initial attempt of combining visual selective attention with deep reinforcement learning

Liu Yuezhang, Ruohan Zhang+1 more|arXiv (Cornell University)|Nov 11, 2018

Reinforcement Learning in Robotics参考文献 29被引用数 15

ひとこと要約

本稿では、A2CおよびDQNエージェントにおける方策ネットワークと光流に基づく注目マップを統合することで、深層強化学習に視覚的選択的注意を統合する手法を提案する。アタリゲームおよびCatch環境において、サンプル効率と性能が向上し、注目とバッチ正規化の相乗効果が顕著であることが明らかになった。

ABSTRACT

Visual attention serves as a means of feature selection mechanism in the perceptual system. Motivated by Broadbent's leaky filter model of selective attention, we evaluate how such mechanism could be implemented and affect the learning process of deep reinforcement learning. We visualize and analyze the feature maps of DQN on a toy problem Catch, and propose an approach to combine visual selective attention with deep reinforcement learning. We experiment with optical flow-based attention and A2C on Atari games. Experiment results show that visual selective attention could lead to improvements in terms of sample efficiency on tested games. An intriguing relation between attention and batch normalization is also discovered.

研究の動機と目的

• 視覚的選択的注意メカニズムが深層強化学習の性能に与える影響を調査すること。
• DQNにおける中間特徴マップの役割を理解し、注目をより深いネットワーク層に効果的に統合できるかを明らかにすること。
• 注目が単純および複雑な環境におけるサンプル効率と学習安定性に与える影響を評価すること。
• 注目メカニズムとバッチ正規化のような正規化層との相互作用を調査すること。
• 人間の知覚における階層的注目を模倣し、入力層だけでなく特徴レベルでの注目統合を実現する手法の開発

提案手法

• 連続フレーム間の光流を用いて視覚的注目を生成し、動いている物体を顕著な特徴として強調する。
• 注目マップを方策ネットワークの最終畳み込み特徴マップと要素ごとに乗算し、その後バッチ正規化を実施する。
• 本手法はA2CおよびDQNエージェントに適用され、最終畳み込み層で注目を統合し、特徴表現を調整する。
• 特徴マップの分析と注目メカニズムの学習ダイナミクスへの影響を検証するため、トランプ環境（Catch）を用いる。
• 標準的なOpenAI baselinesとデフォルトのハイパーパrameterを用いて、4つのアタリゲームで提案手法とベースラインA2C・DQNを比較する実験を実施。
• 本手法は、注意のない特徴が完全に破棄されるのではなく、学習可能なスケーリングにより減衰する、ブロードベントの漏れフィルターモデルをインspireとしている。

実験結果

リサーチクエスチョン

• RQ1 視覚的選択的注意は、深層強化学習におけるサンプル効率を向上させることができるか？
• RQ2 入力層ではなく特徴層での注目統合は、複雑な環境における学習パフォーマンスにどのように影響するか？
• RQ3 視覚的注目とバッチ正規化の間には、どのような相互作用が存在するか？
• RQ4 光流を用いた動きベースの注目は、ビデオゲームにおいてタスク関連特徴を効果的に強調できるか？
• RQ5 注目メカニズムは、入力段階を越えてネットワークのより深い層に意味的に適用可能か？

主な発見

• 光流に基づく注目は、BreakoutとSeaquestで、特に初期学習段階において、動いている物体が顕著なゲーム特性からサンプル効率が向上した。
• 本手法は、テストされた4つのアタリゲーム（Breakout, Seaquest, MsPacman, Centipede）すべてで中程度のパフォーマンス向上を達成した。
• 注目メカニズムとバッチ正規化の間で顕著な相互作用が発見され、正規化が注目統合特徴の安定化に重要な役割を果たしていることが示唆された。
• Catch環境では、注目がノイズを低減させ、特に視覚的入力がごみだらけの状況でも学習安定性を向上させ、特徴選択の価値を示した。
• 最終畳み込み層での注目統合は、入力レベルでの注目よりも優れた方策学習をもたらし、階層的注目統合の有効性を裏付けた。
• 結果から、注目メカニズムは入力層だけでなく、中間特徴レベルでも深層RLと効果的に統合可能であり、表現学習の向上に寄与することが示唆された。