[論文レビュー] Jointly Pre-training with Supervised, Autoencoder, and Value Losses for Deep Reinforcement Learning.

Gabriel Cruz, Yunshu Du+1 more|arXiv (Cornell University)|Apr 3, 2019

Reinforcement Learning in Robotics参考文献 34被引用数 5

ひとこと要約

本論文では、教師あり分類、自己符号化器再構成、期待報酬損失を組み合わせることで特徴表現学習を向上させる、軽量で統合的な事前学習手法を提案する。最小限のヒューマンデモを用いてA3Cエージェントを事前学習することで、Pong や MsPacman などのAtariゲームで、先行手法よりもはるかに少ない環境との相互作用で最先端の性能を達成した。

ABSTRACT

Deep Reinforcement Learning (DRL) algorithms are known to be data inefficient. One reason is that a DRL agent learns both the feature and the policy tabula rasa. Integrating prior knowledge into DRL algorithms is one way to improve learning efficiency since it helps to build helpful representations. In this work, we consider incorporating human knowledge to accelerate the asynchronous advantage actor-critic (A3C) algorithm by pre-training a small amount of non-expert human demonstrations. We leverage the supervised autoencoder framework and propose a novel pre-training strategy that jointly trains a weighted supervised classification loss, an unsupervised reconstruction loss, and an expected return loss. The resulting pre-trained model learns more useful features compared to independently training in supervised or unsupervised fashion. Our pre-training method drastically improved the learning performance of the A3C agent in Atari games of Pong and MsPacman, exceeding the performance of the state-of-the-art algorithms at a much smaller number of game interactions. Our method is light-weight and easy to implement in a single machine. For reproducibility, our code is available at this http URL

研究の動機と目的

• 事前学習を通じた事前知識の統合により、深層強化学習におけるデータ効率を向上させること。
• 限られた非エキスパートのヒューマンデモを用いて、非同期アドバンテージアクターキャリブレーター（A3C）エージェントの学習を加速すること。
• 特徴表現学習を強化できる、軽量で単一マシンで実装可能な事前学習フレームワークを開発すること。
• 環境との相互作用回数を減らしながらも、Atari環境で強い性能を維持しつつ、既存手法を上回ること。

提案手法

• 本手法は、3つの損失成分を同時に最適化する：方策のガイドラインとなる教師あり分類損失、特徴学習のための非教師あり再構成損失、価値推定のための期待報酬損失。
• 標準的なA3C強化学習による微調整の前段階として、共有のニューラルネットワークアーキテクチャに事前学習を適用する。
• 3つの損失の重み付き組み合わせを用いてエンドツーエンドで学習させ、方策、表現、価値学習のバランスをとる。
• ヒューマンデモが教師あり信号として用いられ、自己符号化器部は観測値を再構成することで不変特徴を学習する。
• 期待報酬損失は、トラジェクトリから計算され、方策ネットワークが高報酬行動に向けられるように導く。
• 最終的な事前学習済方策は、環境との相互作用を伴う標準的なA3C更新により微調整される。

実験結果

リサーチクエスチョン

• RQ1 複数の損失タイプを統合した事前学習は、DRLにおける特徴表現とサンプル効率を向上させ得るか？
• RQ2 教師あり、自己符号化器、価値損失を統合することと、個別に事前学習を行う場合とでは、どのような差異が生じるか？
• RQ3 最小限の非エキスパートヒューマンデモは、AtariゲームにおけるA3Cエージェントの学習をどの程度加速できるか？
• RQ4 提案手法は、環境との相互作用回数を減らしながらも、最先端のベースラインを上回る性能を達成できるか？

主な発見

• 本手法は、標準的なA3Cやベースライン事前学習手法と比較して、AtariゲームのPongとMsPacmanで顕著に高い学習性能を示した。
• 著しく少ないゲーム相互作用回数で、最先端のアルゴリズムを上回る性能を達成した。
• 教師ありまたは非教師あり目的での学習のみを用いたモデルと比較して、より有用な特徴を学習した。
• 最小限の計算コストで実装可能であり、単一マシンでも容易に実装可能であった。
• 教師あり、再構成、期待報酬の3つの損失を統合することで、単一損失の事前学習よりも優れた一般化性能が得られた。