[論文レビュー] Memory Based Trajectory-conditioned Policies for Learning from Sparse Rewards

Yijie Guo, Jongwook Choi+5 more|arXiv (Cornell University)|Jul 24, 2019

Reinforcement Learning in Robotics被引用数 14

ひとこと要約

本稿では、メモリバッファから過去の多様な軌道を模倣することで、報酬が疎な強化学習における探索を向上させるメモリベースの軌道条件付き方策、DTSILを提案する。複数の示範的軌道を条件として用い、アテンションを備えたシーケンス・ツー・シーケンスモデルを用いることで、柔軟で探索的な行動を実現する。DTSILは、モンテズマのレヴァンスやピットファールなど、難易度の高いアーケードゲームにおいて、エキスパートの示範データや任意のリセットを一切使用せずに、カウンティングベースの探索や自己模倣学習を凌駕する最先端のパフォーマンスを達成する。

ABSTRACT

Reinforcement learning with sparse rewards is challenging because an agent can rarely obtain non-zero rewards and hence, gradient-based optimization of parameterized policies can be incremental and slow. Recent work demonstrated that using a memory buffer of previous successful trajectories can result in more effective policies. However, existing methods may overly exploit past successful experiences, which can encourage the agent to adopt sub-optimal and myopic behaviors. In this work, instead of focusing on good experiences with limited diversity, we propose to learn a trajectory-conditioned policy to follow and expand diverse past trajectories from a memory buffer. Our method allows the agent to reach diverse regions in the state space and improve upon the past trajectories to reach new states. We empirically show that our approach significantly outperforms count-based exploration methods (parametric approach) and self-imitation learning (parametric approach with non-parametric memory) on various complex tasks with local optima. In particular, without using expert demonstrations or resetting to arbitrary states, we achieve the state-of-the-art scores under five billion number of frames, on challenging Atari games such as Montezuma's Revenge and Pitfall.

研究の動機と目的

• 勾配更新が遅く、エージェントが局所最適解に閉じ込められがちな報酬が疎な強化学習の課題に対処すること。
• 既存手法が少数の成功した軌道に過剰に依存し、短視眼的で劣悪な行動をとるという限界を克服すること。
• メモリバッファに保存された多様な過去の経験を活用することで、サンプル効率と長時間スケールの探索を向上させること。
• 保存された示範を編集・拡張することで新しい軌道を生成し、エージェントが新しい状態を発見し、より高い報酬を得られるようにすること。
• エキスパートの示範データや任意の状態リセット機構を一切使用せずに、困難なアーケードゲームで最先端のパフォーマンスを達成すること。

提案手法

• 本手法は、過去の成功した軌道からの状態シーケンスを、行動生成の入力コンテキストとして用いる軌道条件付き方策を採用する。
• アテンション機構を備えたシーケンス・ツー・シーケンスモデルが、示範的軌道を新しい行動シーケンスに翻訳するのを学習し、確率的かつ柔軟な方策行動を可能にする。
• 多様な軌道をメモリバッファに保存し、その上で教師あり学習の目的関数を用いて方策を訓練することで、頻繁に訪問される経路を超えた探索を促進する。
• メモリバッファは過去のエピソードからの完全な軌道を格納し、方策はそのいずれかの軌道を条件として用い、新しい探索的行動を生成する。
• 軌道レベルの示範に対するカウンティングベースの探索と模倣学習を組み合わせることで、訪問頻度が低くても報酬が高くなる可能性のある状態へエージェントを誘導する。
• ハイレベルな方策がバッファ内の軌道に基づいて部分的目標を提案し、ローレベルな方策がそれらに到達する行動を実行するという階層的バージョンも検討し、未観測の環境への一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 メモリバッファから多様な過去の軌道を模倣することで、標準的なカウンティングベースの探索や自己模倣学習と比較して、報酬が疎な環境における探索性能が向上するか？
• RQ2 複数の多様な軌道を条件として用いることで、短視眼的な行動が軽減され、劣悪な方策への過早な収束が回避されるか？
• RQ3 アテンションを備えたシーケンス・ツー・シーケンスモデルが、保存済みの示範を編集することで、新しい高報酬軌道を効果的に生成できるか？
• RQ4 エキスパートの示範データやリセット・ステート機構を一切使用せずに、本手法が未観測の環境にどの程度一般化できるか？
• RQ5 モンテズマのレヴァンスやピットファールのような、局所最適解を伴う長時間スケールのタスクにおいて、本手法はどの程度のパフォーマンスを示すか？

主な発見

• DTSILは、50億フレームの時点でモンテズマのレヴァンスとピットファールで最先端のパフォーマンスを達成し、エキスパートの示範データや任意のリセットを一切使用せずに、先行手法を上回った。
• 多様な軌道を活用することで、サンプル効率と探索性能が顕著に向上し、エージェントがピットファールの左端の部屋に到達し、多数のダイヤモンドを収集できた。これは、先行のSOTA手法が達成できなかった。
• ランダムな迷路環境では、階層的DTSILバージョンが未観測の迷路に一般化し、PPO+EXPと比較してテストセットの平均エピソード報酬が高かった。
• DTSILは、局所最適解や確率的ダイナミクスを伴う複数のタスクにおいて、カウンティングベースの探索と自己模倣学習をすべて上回った。
• 多様な軌道条件付きの導入により、長期的な報酬が向上し、劣悪な方策への過早な収束を回避した。
• 実験的結果から、本手法は長時間スケールの推論と報酬が疎な環境において、頑健で効果的であることが示された。