[論文レビュー] Backplay: "Man muss immer umkehren"

Cinjon Resnick, Roberta Răileanu+4 more|arXiv (Cornell University)|Jul 18, 2018

Reinforcement Learning in Robotics参考文献 47被引用数 25

ひとこと要約

Backplay は、1つの専門家デモを逆転させてカリキュラムを生成することで、訓練を改善するサンプル効率の良い強化学習手法である。訓練は軌道の終端から始まり、徐々に初期状態へと後退していく。この手法により、Pommerman のようなスパarsely-rewarded 環境で、標準的な RL や行動クラッシング、逆方向カリキュラム手法よりも少ないサンプルで、専門家を上回る性能を達成するエージェントの学習が可能になる。

ABSTRACT

Model-free reinforcement learning (RL) requires a large number of trials to learn a good policy, especially in environments with sparse rewards. We explore a method to improve the sample efficiency when we have access to demonstrations. Our approach, Backplay, uses a single demonstration to construct a curriculum for a given task. Rather than starting each training episode in the environment's fixed initial state, we start the agent near the end of the demonstration and move the starting point backwards during the course of training until we reach the initial state. Our contributions are that we analytically characterize the types of environments where Backplay can improve training speed, demonstrate the effectiveness of Backplay both in large grid worlds and a complex four player zero-sum game (Pommerman), and show that Backplay compares favorably to other competitive methods known to improve sample efficiency. This includes reward shaping, behavioral cloning, and reverse curriculum generation.

研究の動機と目的

• スパarsely-rewarded 環境におけるモデルフリー強化学習のサンプル効率を向上させること。
• 専門家アクションや環境の可逆性を必要とせず、1つのデモのみを用いてカリキュラムベースの訓練手法を開発すること。
• カリキュラムベースの後退訓練により、劣化した専門家デモレーターの性能を上回るエージェントを実現すること。
• Backplay が他のカリキュラムおよびアシスト学習手法を上回る・下回る状況の理論的・実験的分析を提供すること。
• Pommerman のような複雑で確率的なマルチエージェント環境における Backplay の一般化性とロバスト性を調査すること。

提案手法

• Backplay は、専門家デモを逆転させることでカリキュラムを構築し、最終状態を初期学習ポイントとして使用する。
• エージェントはデモの終端付近の状態から訓練を開始し、訓練の進行に従い徐々に初期状態に近い状態へと開始点を後退させる。
• 訓練は軌道の終端付近の簡単なサブゴールから始まり、エージェントがより前の状態に到達できるようになるにつれ難易度が上昇する。
• 本手法は専門家アクションや環境の可逆性を必要とせず、1つのデモからの状態シーケンスのみに依存する。
• カリキュラムは、専門家軌道の状態を後退順に並べたシーケンスから初期状態をサンプリングすることで実装される。
• Backplay は、グリッドワールドおよび Pommerman における標準的な RL、行動クラッシング、報酬形状化、逆方向カリキュラム生成と比較評価されている。

実験結果

リサーチクエスチョン

• RQ1 どの種類の環境で Backplay が標準的な RL よりも顕著にサンプル効率を向上させるか？
• RQ2 専門家デモが劣化している場合でも、Backplay が最適方策を学習可能か？
• RQ3 報酬形状化、行動クラッシング、逆方向カリキュラム生成と比較して、Backplay のサンプル複雑性および最終的パフォーマンスはどのように異なるか？
• RQ4 カリキュラム進行速度および初期状態分布が、Backplay の学習速度および最終方策品質に与える影響は何か？
• RQ5 Backplay は未観測環境に一般化可能か？どのような条件下で一般化に失敗するか？

主な発見

• スパarsely-rewarded 環境である 100 マップの Pommerman において、Backplay は標準的および一様なベースライン手法が意味のある方策を学習できなかった状況でも強力なパフォーマンスを達成した。
• 未見の 10 マップのセットにおいて、Backplay エージェントは 1000 パフォーマンスのうち 416 パフォーマンスを獲得し、勝率は 18.3% から 85.3% の範囲で変動した。
• Backplay エージェントは、専門家デモレーターを含む既存の Pommerman エージェントでは観察されなかった、新たな戦略（爆弾を投げること）を学習した。
• スパarsely-rewarded および dense-reward 設定の両方において、Backplay は複数のシードおよび環境で、標準的な RL、行動クラッシング、逆方向カリキュラム手法を上回った。
• Backplay は劣化したデモに対してロバストであり、勝率および戦略的革新の両面で、デモレーターの性能を上回る方策を学習した。
• 多様なマップで学習した Backplay は Pommerman において強い一般化性を示したが、訓練時に十分なマップが使用されない場合、単純な迷路環境では一般化が限定的であった。