[論文レビュー] Deep Reinforcement Learning With Macro-Actions

Ishan Durugkar, Clemens Rosenbaum+2 more|arXiv (Cornell University)|Jun 15, 2016

Reinforcement Learning in Robotics参考文献 15被引用数 11

ひとこと要約

本論文は、アタリ2600ゲームにおける学習の高速化とパフォーマンス向上を目的として、深層Qネットワーク（DQN）にマクロアクション（プリミティブアクションの事前定義されたシーケンス）を統合する手法を提案する。時間的に拡張されたアクションを可能にすることで、疎な報酬信号への依存度が低下し、Q値の信頼性が向上し、テストした7つのゲームのうち6つで収束が速くなり、最終スコアも優れている。

ABSTRACT

Deep reinforcement learning has been shown to be a powerful framework for learning policies from complex high-dimensional sensory inputs to actions in complex tasks, such as the Atari domain. In this paper, we explore output representation modeling in the form of temporal abstraction to improve convergence and reliability of deep reinforcement learning approaches. We concentrate on macro-actions, and evaluate these on different Atari 2600 games, where we show that they yield significant improvements in learning speed. Additionally, we show that they can even achieve better scores than DQN. We offer analysis and explanation for both convergence and final results, revealing a problem deep RL approaches have with sparse reward signals.

研究の動機と目的

• 高次元制御タスクにおける深層強化学習エージェントのサンプル効率と収束速度の向上。
• 報酬信号が遅れてかつ希なアタリ環境における課題に対処すること。
• マクロアクションによる時間的抽象化が、単一のプリミティブアクションよりも信頼性の高いポリシー学習を可能にするかを調査すること。
• マクロアクションが深層ニューラルネットワークとどのように相互作用し、状態表現学習とQ値推定を改善するかを調査すること。
• 原子的アクションにアクセス可能な状態でも、マクロアクションが標準DQNよりも優れた最終的パフォーマンスをもたらすかを実証すること。

提案手法

• DQNアーキテクチャを拡張し、アクション空間にマクロアクションを追加する。
• マクロアクションを、プリミティブアクションの固定で決定的なシーケンス（例：「左に5回移動、その後ジャンプ」）として定義する。
• プリミティブアクションとマクロアクションの両方の遷移を含むリプレイバッファを使用してDQNエージェントを訓練する。
• 標準DQNの訓練法（経験リプレイとターゲットネットワーク）を用いながら、エージェントがマクロアクションを単一のアクションとして選択可能にする。
• 単純なヒューリスティクスを用いてマクロアクションを構築する：繰り返しアクションシーケンス（例：「左、左、左」）や固定長のアクションシーケンス。
• マクロアクション選択が学習速度、最終的パフォーマンス、Q値の信頼性に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 マクロアクションは、アタリ2600ゲームにおける深層強化学習の訓練時間を顕著に短縮できるか？
• RQ2 マクロアクションは、プリミティブアクションのみを用いた標準DQNと比較して、より優れた最終的パフォーマンスをもたらすか？
• RQ3 マクロアクションは、深層QネットワークにおけるQ値推定の信頼性と安定性にどのように影響するか？
• RQ4 アクション空間の粒度が低下するにもかかわらず、マクロアクションが報酬が疎な環境でなぜ学習を改善するのか？
• RQ5 繰り返しアクションや固定長シーケンスなどの異なるマクロアクション構築戦略は、学習結果にどの程度影響を与えるか？

主な発見

• マクロアクションを用いることで、標準DQNと比較して訓練時間を約50％短縮し、10000万ステップで標準DQNと同等のパフォーマンスを達成した。
• テストした7つのアタリ2600ゲームのうち6つで、マクロアクションを用いたDQNエージェントが標準DQNよりも高い最終スコアを達成した。
• Q値の信頼性（最良と2番目に良いQ値の差）は、マクロアクションを用いることで桁違いに向上し、近似誤差の影響が軽減された。
• マクロアクションによって生じるQ値のスプレッドの向上により、より信頼性の高いグリーディアクション選択が可能になり、実質的にアクションギャップが拡大した。
• マクロアクションを用いることで、深層ニューラルネットワークは状態表現をより効率的に学習した。これは、より大きな状態変化が顕著で、より容易に符号化可能だったためである。
• 『Ms. Pac-Man』のようなゲームでは、単純な繰り返しアクションマクロが、より複雑な戦略を上回る性能を示した。これは、マクロ設計がゲームメカニクスと整合している必要があることを示唆している。