[論文レビュー] Learning from Trajectories via Subgoal Discovery

Sujoy Paul, Jeroen Vanbaar+1 more|arXiv (Cornell University)|Nov 3, 2019

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

本稿では、エキスパート軌道から部分的目標を発見することで、離散的で外生的な報酬関数を構築する手法を提案する。これにより、複雑で報酬が疎なタスクにおいて、効率的な学習が可能になる。模倣学習と強化学習を組み合わせ、1クラス分類に基づく部分的目標モジュレータを用いることで、エキスパート軌道が不完全であっても、SOTAのRL、IL、ハイブリッド手法が失敗するMuJoCoタスクにおいても、それらを上回る性能を発揮する。

ABSTRACT

Learning to solve complex goal-oriented tasks with sparse terminal-only rewards often requires an enormous number of samples. In such cases, using a set of expert trajectories could help to learn faster. However, Imitation Learning (IL) via supervised pre-training with these trajectories may not perform as well and generally requires additional finetuning with expert-in-the-loop. In this paper, we propose an approach which uses the expert trajectories and learns to decompose the complex main task into smaller sub-goals. We learn a function which partitions the state-space into sub-goals, which can then be used to design an extrinsic reward function. We follow a strategy where the agent first learns from the trajectories using IL and then switches to Reinforcement Learning (RL) using the identified sub-goals, to alleviate the errors in the IL step. To deal with states which are under-represented by the trajectory set, we also learn a function to modulate the sub-goal predictions. We show that our method is able to solve complex goal-oriented tasks, which other RL, IL or their combinations in literature are not able to solve.

研究の動機と目的

• 報酬が終端のみに存在する疎な報酬環境下で、複雑な目的指向タスクを学習する課題に対処すること。
• エキスパート軌道を政策の事前学習に加え、報酬関数の形状づけに用いる部分的目標の発見に活用することで、模倣学習を改善すること。
• 1クラス分類を用いて、未カバーの状態に一般化可能な部分的目標予測器を学習することで、エキスパートの品質やカバー範囲への依存度を低減すること。
• 連続的で誤りを含む価値関数を離散的かつ構造的な部分的目標報酬に変換することで、より高速かつ信頼性の高い強化学習を可能にすること。

提案手法

• まず、エキスパート軌道を用いた教師あり事前学習により、模倣学習によって政策を初期化する。
• エキスパート軌道における時系列的順序に基づいて状態空間を分割し、学習された関数 $ u_{\psi} $ を用いて経路のポイント（ウェイポイント）を同定することで、部分的目標を発見する。
• これらの部分的目標を用いて離散的で外生的な報酬関数を構築し、強化学習のファインチューニング段階で構造的かつ疎でない報酬信号を提供する。
• エキスパート軌道にカバーされていない分布外の状態に対処するため、1クラス分類モジュールが部分的目標予測をモodulateし、一般化性能を向上させる。
• 模倣学習段階から強化学習に移行し、部分的目標に基づく報酬関数を用いることで、初期段階の模倣学習による誤差を緩和する。
• 報酬関数は式 (5) で形式化されており、$ u_{\psi} $ を用いることで、報酬が疎な環境下での学習安定性と性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 エキスパート軌道から部分的目標を発見することで、複雑で報酬が疎なタスクにおけるサンプル効率と性能が向上するか？
• RQ2 連続的価値ベースの報酬形状づけと比較して、部分的目標に基づく離散的報酬形状づけは、学習安定性と収束性においてどのように異なるか？
• RQ3 本手法はエキスパート軌道にカバーされていない状態にも一般化可能か？また、1クラス分類モジュールは頑健性をどのように向上させるか？
• RQ4 本手法は、報酬が疎な挑戦的なMuJoCoタスクにおいて、SOTAのRL、IL、ハイブリッド手法を上回るか？

主な発見

• 本手法は、SOTAのRL、IL、ハイブリッド手法が一貫して学習に失敗する3つの複雑なMuJoCoタスク（BiMGame、AntTarget、AntMaze）を成功裏に解決した。
• 部分的目標モジュレータ $ u_{\psi} $ を用いることで、特にエキスパートカバーが疎な状況で生じる局所最適解を回避でき、AntMazeおよびBiMGameで優れた性能を発揮した。
• 部分的に不完全なエキスパート軌道でさえ、エキスパート自身を上回る性能を発揮し、エキスパート品質への頑健性を示した。
• 部分的目標発見機構は、ボトルネック領域（例：BiMGame）を効果的に特定し、パスを均等に分割する（例：AntTargetおよびAntMaze）など、異なるタスク構造に適応可能であることが示された。
• 連続的価値ベースの報酬と比較して、離散的で部分的目標に基づく報酬が、特にエキスパート軌道が限られている場合や長時間スケールのタスクにおいて、学習を著しく改善した。