[論文レビュー] Reinforcement Learning With Temporal Logic Rewards

Xiao Li, Cristian-Ioan Vasile+1 more|arXiv (Cornell University)|Dec 11, 2016

Formal Methods in Verification参考文献 15被引用数 4

ひとこと要約

本論文では、複雑で時間的構造を持つロボットタスクの高速かつ信頼性の高い学習を可能にするために、強化学習における報酬関数としてTruncated Linear Temporal Logic (TLTL)とその頑健性度を用いる手法を提案する。ドメイン知識や制約を形式的に表現することで、ヒューリスティック報酬よりも収束速度とポリシー品質に優れた性能を発揮し、シミュレーションおよびBaxterロボットを用いたトースト配置タスクにおいて100%の成功率を達成した。

ABSTRACT

Reinforcement learning (RL) depends critically on the choice of reward functions used to capture the de- sired behavior and constraints of a robot. Usually, these are handcrafted by a expert designer and represent heuristics for relatively simple tasks. Real world applications typically involve more complex tasks with rich temporal and logical structure. In this paper we take advantage of the expressive power of temporal logic (TL) to specify complex rules the robot should follow, and incorporate domain knowledge into learning. We propose Truncated Linear Temporal Logic (TLTL) as specifications language, that is arguably well suited for the robotics applications, together with quantitative semantics, i.e., robustness degree. We propose a RL approach to learn tasks expressed as TLTL formulae that uses their associated robustness degree as reward functions, instead of the manually crafted heuristics trying to capture the same specifications. We show in simulated trials that learning is faster and policies obtained using the proposed approach outperform the ones learned using heuristic rewards in terms of the robustness degree, i.e., how well the tasks are satisfied. Furthermore, we demonstrate the proposed RL approach in a toast-placing task learned by a Baxter robot.

研究の動機と目的

• 複雑で豊かな時間的・論理的構造を持つロボットタスクにおける効果的な報酬関数の設計という課題に取り組む。
• タスクの意図と安全性要件を捉える仕様言語を用いて、ドメイン知識と形式的制約を強化学習に統合する。
• 時間論理仕様から導出される頑健性度を用いてヒューリスティック報酬を置き換えることで、学習効率とポリシー品質を向上させる。
• シミュレーション環境および実世界のロボット操作タスクにおいて、TLTLベースの報酬の実現可能性と優位性を実証する。

提案手法

• 有限時間軌道と時間的依存性を持つロボットタスクに特化した仕様言語としてTruncated Linear Temporal Logic (TLTL)を提案する。
• TLTL式を実数値報酬関数に写像する定量的意味論としての頑健性度を定義する。
• 頑健性度をポリシー探索強化学習における主な報酬信号として用い、手作業によるヒューリスティック報酬を置き換える。
• エピソードベースのREPSとステップベースのポリシー探索アルゴリズムを用い、シミュレーションおよび実ロボット実験の両方でTLTL報酬を用いたポリシー学習を実施する。
• タスク仕様を部分式に階層的に分解し、ネストされたmin/max演算を用いて各時刻における有効な制約を特定する。
• 学習中の異なるサブタスクにおける焦点の偏りを防ぐために、頑健性値を手動で正規化する。

実験結果

リサーチクエスチョン

• RQ1 定量的意味論を備えた時間論理仕様は、複雑なロボットタスクにおける強化学習のサンプル効率を向上させることができるか？
• RQ2 ヒューリスティック報酬関数と比較して、TLTLベースの頑健性報酬を用いた学習は収束速度と最終的なポリシー品質においてどのように異なるか？
• RQ3 ヒエラルキーを用いない強化学習アルゴリズムがTLTL報酬によって誘導されると、時間的構造を持つタスクを正しく学習できるか？
• RQ4 実世界のロボット操作タスクにおいて、頑健性度はタスク満足度の意味的な代理指標としてどれほど有効に機能するか？

主な発見

• TLTLベースの報酬で訓練されたポリシーは、Baxterロボットのトースト配置タスクで100%の成功率を達成したが、ヒューリスティック報酬で訓練されたポリシーは正しいグリッパータイミングポリシーを学習できなかった。
• シミュレーションおよび実世界の両環境において、TLTL報酬を用いた学習はヒューリスティック報酬を用いた学習よりも著しく高速に収束し、より高品質なポリシーを生成した。
• 頑健性度報酬関数は、各時刻における有効な制約に学習を効果的に集中させ、ボトルネックとなるサブタスクを優先することで、全体の学習進捗を向上させた。
• より非効率なエピソードベースのRLアルゴリズムを用いても、TLTLベースのアプローチは離散的および連続的ヒューリスティック報酬関数を上回った。
• 異なるサブタスク間での学習の偏りを防ぐために、頑健性値の手動正規化が必要であった。これは、今後の研究において適応的正規化の必要性を示唆している。