[論文レビュー] Automata Guided Reinforcement Learning With Demonstrations

Xiao Li, Yao Ma+1 more|arXiv (Cornell University)|Sep 17, 2018

Reinforcement Learning in Robotics参考文献 29被引用数 11

ひとこと要約

本論文は、構文的に安全な切り捨てられた線形時相論理（scTLTL）とデモを統合した強化学習フレームワークを提案する。このフレームワークにより、タスクに整合した内発的報酬と階層的方策を生成する。scTLTLの仕様を有限状態オートマトン（FSA）にコンパイルすることで、構造的な内発的報酬を提供し、学習を効率化し、ロボット操作タスクにおけるサンプルの複雑さを顕著に低減するとともに、複雑で論理的に構造化された目標に対して高い耐障害性を発揮する。

ABSTRACT

Tasks with complex temporal structures and long horizons pose a challenge for reinforcement learning agents due to the difficulty in specifying the tasks in terms of reward functions as well as large variances in the learning signals. We propose to address these problems by combining temporal logic (TL) with reinforcement learning from demonstrations. Our method automatically generates intrinsic rewards that align with the overall task goal given a TL task specification. The policy resulting from our framework has an interpretable and hierarchical structure. We validate the proposed method experimentally on a set of robotic manipulation tasks.

研究の動機と目的

• 強化学習における長期間にわたる、論理的に構造化されたタスクの報酬関数の定式化の課題に取り組む。
• 時間論理による形式的タスク仕様を統合することで、報酬の複雑さと分散を低減し、学習の複雑さを削減する。
• デモとオートマトン誘導型内発的報酬を組み合わせることで、学習の効率性と方策の耐障害性を向上させる。
• 解釈可能で階層的な方策を可能にし、複雑なタスクを部分的なタスクに自然に分解できるようにする。
• シミュレーションから実世界のロボットシステムへのゼロショット移行を促進する。

提案手法

• 与えられたscTLTLタスク仕様を有限状態オートマトン（FSA）にコンパイルし、進行状況の追跡と内発的報酬の生成に用いる。
• 内発的報酬はFSAの状態遷移から導出され、タスクに整合した密な信号を提供し、目標達成への探索を効果的に誘導する。
• FSAの状態を状態空間の離散的次元として統合することで、タスクをより単純な部分タスクに分解するカリキュラムを効果的に構築する。
• デモを用いて行動クラーニングにより方策を初期化することで、初期の探索時間を短縮し、共変量シフトのリスクを低減する。
• オフポリシーの深層強化学習（例：DDPG）とFSA拡張MDP、報酬形状化を組み合わせたハイブリッドトレーニングアプローチを採用する。
• 時間論理からの耐障害性メトリクスを用いてタスクの成功を評価し、異なる手法間での公平な比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 形式的タスク仕様（scTLTL）を用いることで、複雑で論理的に構造化されたタスクにおける強化学習のサンプル効率が向上するか？
• RQ2 オートマトン誘導型内発的報酬形状化は、ヒューリスティックな報酬形状化と比較して、学習速度と成功確率で優れているか？
• RQ3 デモとFSA拡張報酬を組み合わせることで、トレーニングの分散がどれほど低減され、収束がどれほど加速されるか？
• RQ4 シミュレーションで学習した方策が、実世界のロボットプラットフォームに成功裏に移行できるか？
• RQ5 FSAから得られる階層的構造は、解釈可能で耐障害性の高い方策学習をどのように可能にするか？

主な発見

• 提案手法は、タスク1では平均36.5ステップ、タスク2では平均34.3ステップで安定したタスク成功を達成し、報酬形状化ベースラインを顕著に上回った。
• デモとFSA報酬を用いて学習した方策は、報酬形状化のみを用いたものよりも収束が早く、分散が小さく、後者は割り当てられたトレーニング時間内にタスクを達成できなかった。
• 報酬形状化のみを用いた方策の平均ステップ数は、タスク1で99.6、タスク2で95.5であり、サンプル効率が著しく低いことが示された。
• 本手法により、シミュレーションから実世界のBaxterロボットへのゼロショット移行が成功裏に実現され、両タスクで10回のランダム試行すべてで高い成功率が達成された。
• FSAベースの内発的報酬は、報酬の悪用（reward hacking）を低減し、形式的タスク仕様に学習を整合させることで方策の解釈可能性を向上させた。
• FSAから得られる階層的構造により、タスクを管理可能な部分目標に分解することで、複雑なシーケンスの学習がより効率的に行えるようになった。