[論文レビュー] At Human Speed: Deep Reinforcement Learning with Action Delay

Vlad Firoiu, Tina Ju+1 more|arXiv (Cornell University)|Oct 16, 2018

Reinforcement Learning in Robotics参考文献 12被引用数 28

ひとこと要約

この論文では、人間の反応時間に相当する行動遅延を補うために、深層強化学習エージェントが予測モデルを用いることで、行動遅延に起因する性能低下を克服する手法を提案する。行動実行時の環境状態を予測することで、エージェントは『Super Smash Bros. Melee』において人間プロプレーヤーと同等の性能を発揮し、非予測的モデルを上回り、エリートプレーヤーとほぼ同等の成績を収める。

ABSTRACT

There has been a recent explosion in the capabilities of game-playing artificial intelligence. Many classes of tasks, from video games to motor control to board games, are now solvable by fairly generic algorithms, based on deep learning and reinforcement learning, that learn to play from experience with minimal prior knowledge. However, these machines often do not win through intelligence alone -- they possess vastly superior speed and precision, allowing them to act in ways a human never could. To level the playing field, we restrict the machine's reaction time to a human level, and find that standard deep reinforcement learning methods quickly drop in performance. We propose a solution to the action delay problem inspired by human perception -- to endow agents with a neural predictive model of the environment which "undoes" the delay inherent in their environment -- and demonstrate its efficacy against professional players in Super Smash Bros. Melee, a popular console fighting game.

研究の動機と目的

• 高スペードのゲームにおける人間レベルの行動遅延下での標準的深層強化学習エージェントの性能低下を調査すること。
• 行動実行までの遅延を考慮した強化学習の課題に、行動実行時の未来状態を事前にモデル化することで対処すること。
• 人間と同等の反応時間を有するエージェントが、熟練した人間プレーヤーと効果的に競争できるようにすること。
• 複雑でリアルタイムな環境下で、行動遅延によって失われた性能を予測モデリングによって回復できるかどうかを検討すること。

提案手法

• エージェントは、現在の行動が実行される時点の環境状態を予測するためのニューラル予測モデルを装備しており、固定された行動遅延を考慮している。
• 予測モデルは、状態遷移に基づく教師あり損失を用いてエンドツーエンドで学習され、現在の観測値と行動履歴に基づき、遅延後の状態を予測する能力を学習する。
• 予測アーキテクチャは、IMPALA強化学習フレームワークと統合されており、リアルタイム推論を維持したままポリシー学習が可能である。
• 時間的文脈を保持するための再帰的または逐次構造を用い、複数の遅延ステップにわたる未来状態を予測する。
• ナーブな状態拡張による状態空間の爆発を回避するため、遅延ダイナミクスのコンパクトで微分可能なモデルを学習する。
• 本手法は『Super Smash Bros. Melee』およびアーケードゲームのAtari 2600で評価され、非予測的エージェントおよび人間プロプレーヤーと比較された。

実験結果

リサーチクエスチョン

• RQ1 『Super Smash Bros. Melee』のような高スペードゲームにおいて、行動遅延は標準的深層強化学習エージェントの性能にどのように影響を与えるか？
• RQ2 ナーブな状態空間の爆発を避けるために、ニューラル予測モデルが行動遅延を効果的に補償できるか？
• RQ3 人間レベルの反応時間制約下で、予測モデルが熟練した人間プレーヤーと競争可能な性能を発揮できるか？
• RQ4 遅延下での勝率および学習安定性という観点から、予測モデルは非予測的ベースラインと比べてどのように差をつけるか？

主な発見

• 非予測的深層強化学習エージェントは、行動遅延が4ステップを超えると著しく性能が低下する。
• ハイパーパrameterが (7, 7, 2) の予測エージェントは、国際ランキング上位41位のプロプレーヤー「Professor Pro」との対戦で7ステップの遅延下で5勝2敗を記録した。
• ハイパーパrameterが (6, 6, 2) の予測エージェントは、6ステップの遅延下でProfessor Proと5戦中3勝をあげ、高い競争力が確認された。
• 予測モデルは非予測的エージェント（例：(6, 0, 2)エージェント）を著しく上回り、同じ相手に対して6戦中0勝を記録した。
• 性能向上効果は『Super Smash Bros. Melee』およびAtari 2600ゲームを含む複数の環境で一貫しており、本手法の汎用性が裏付けられた。
• 予測モデルにより、エージェントは遅延が7ステップまででも競争可能なプレイを維持でき、リアルタイムゲームプレイに適した推論速度を維持した。