[論文レビュー] Multi-focus Attention Network for Efficient Deep Reinforcement Learning

Jin‐Young Choi, Beom‐Jin Lee+1 more|arXiv (Cornell University)|Dec 13, 2017

Reinforcement Learning in Robotics参考文献 16被引用数 29

ひとこと要約

本稿では、視覚入力を部分状態に分割し、並列的な注目メカニズムを適用することで、タスクに関連するエントリティに注目する、マルチフォーカス注目ネットワーク（MANet）を提案する。MANetは、DQN や単一注目モデルと比較して著しく少ない経験サンプルで最先端の性能を達成し、マルチエージェント協調学習を20%高速化する。

ABSTRACT

Deep reinforcement learning (DRL) has shown incredible performance in learning various tasks to the human level. However, unlike human perception, current DRL models connect the entire low-level sensory input to the state-action values rather than exploiting the relationship between and among entities that constitute the sensory input. Because of this difference, DRL needs vast amount of experience samples to learn. In this paper, we propose a Multi-focus Attention Network (MANet) which mimics human ability to spatially abstract the low-level sensory input into multiple entities and attend to them simultaneously. The proposed method first divides the low-level input into several segments which we refer to as partial states. After this segmentation, parallel attention layers attend to the partial states relevant to solving the task. Our model estimates state-action values using these attended partial states. In our experiments, MANet attains highest scores with significantly less experience samples. Additionally, the model shows higher performance compared to the Deep Q-network and the single attention model as benchmarks. Furthermore, we extend our model to attentive communication model for performing multi-agent cooperative tasks. In multi-agent cooperative task experiments, our model shows 20% faster learning than existing state-of-the-art model.

研究の動機と目的

• スパarsな報酬と多数の経験サンプルに依存する深層強化学習（DRL）の非効率性を是正すること。
• 生のピクセルを均一に処理するのではなく、感覚入力内の複数の関連するエントリティに注目することで、人間の空間的抽象化に類似した処理を実現すること。
• 単一エージェントおよびマルチエージェント強化学習タスクにおけるサンプル効率と学習速度の向上を図ること。
• 状態行動価値推定に適した、複数の部分状態に動的に注目できるスケーラブルな注目メカニズムの開発

提案手法

• モデルは、低レベルの感覚入力（例：画像）を重複のない複数の部分状態に分割し、人間の特定のエントリティへの注目を模倣する。
• 各部分状態に並列的な注目層を適用して、タスクに関連する特徴を抽出し、顕著な領域に焦点を当てた処理を可能にする。
• 複数の部分状態からの注目特徴を統合して状態行動価値を推定し、表現品質を向上させる。
• 複数の空間的に異なる入力セグメントを同時に処理できる二重ストリーム注目メカニズムをアーキテクチャに統合する。
• マルチエージェント環境では、エージェント間で注目特徴を共有する通信メカニズムを拡張し、協調的タスクを実現する。
• 経験リプレイとターゲットネットワークを用いたエンドツーエンドの学習により、DQN と同様の深層Q学習でモデルを訓練するが、注目強化された特徴抽出を実装する。

実験結果

リサーチクエスチョン

• RQ1 視覚入力を部分状態に分割し、マルチフォーカス注目を適用することで、深層強化学習におけるサンプル効率が向上するか？
• RQ2 学習速度および最終的なパフォーマンスの観点から、マルチフォーカス注目は単一注目や生のピクセル入力と比べてどのように異なるか？
• RQ3 提案された注目メカニズムは、エージェント間通信を伴うマルチエージェント協調タスクに効果的に拡張可能か？
• RQ4 モデルは、人間水準のパフォーマンスに到達するまでに必要な経験サンプル数をどの程度削減できるか？
• RQ5 注目メカニズムは、複雑な視覚環境における一般化性能およびロバストネスを向上させるか？

主な発見

• MANetは、DQN や単一注目ネットワークといったベースラインモデルと比較して、著しく少ない経験サンプルで最高のスコアを達成する。
• 関連する視覚的エントリティに注目することでサンプル複雑性が低減され、単一エージェント制御タスクでの収束が高速化される。
• マルチエージェント協調タスクにおいて、MANetは最先端モデルと比較して20%速く学習を達成し、サンプル効率の向上が裏付けられる。
• 注目メカニズムにより、エージェントが入力全体を均一に処理するのではなく、タスクに関連する視覚的コンポonentに選択的に注目できるようになり、パフォーマンスが向上する。
• 注目通信モデルへの拡張により、エージェント間の協調性が向上し、協調的環境における優れたパフォーマンスが達成される。