[論文レビュー] Model-based Reinforcement Learning from Signal Temporal Logic Specifications

Parv Kapoor, Anand Balakrishnan+1 more|arXiv (Cornell University)|Nov 10, 2020

Formal Methods in Verification参考文献 53被引用数 14

ひとこと要約

この論文は、高レベルのロボット行動を定義するための信号時相論理（STL）仕様を用いたモデルベース強化学習フレームワークを提案する。伝統的な報酬関数に代わって、深層ニューラルネットワークを用いてシステムの軌道を予測し、再帰的ホライズン上で進化戦略に基づく最適化を実行して、STLのロバストネスを最大化する行動を選択する。ロボット操作および自動運転タスクにおいて、より高いサンプル効率と安全性を実証した。

ABSTRACT

Techniques based on Reinforcement Learning (RL) are increasingly being used to design control policies for robotic systems. RL fundamentally relies on state-based reward functions to encode desired behavior of the robot and bad reward functions are prone to exploitation by the learning agent, leading to behavior that is undesirable in the best case and critically dangerous in the worst. On the other hand, designing good reward functions for complex tasks is a challenging problem. In this paper, we propose expressing desired high-level robot behavior using a formal specification language known as Signal Temporal Logic (STL) as an alternative to reward/cost functions. We use STL specifications in conjunction with model-based learning to design model predictive controllers that try to optimize the satisfaction of the STL specification over a finite time horizon. The proposed algorithm is empirically evaluated on simulations of robotic system such as a pick-and-place robotic arm, and adaptive cruise control for autonomous vehicles.

研究の動機と目的

• 強化学習における効果的で安全な報酬関数の設計という課題に取り組む。これは報酬のねじり込み（reward hacking）や一般化性能の低さに起因する。
• 信号時相論理（STL）のような表現力のある形式的言語を用いて、ロボット工学における高レベルのタスク指定を可能にし、正しさと安全性を保証する。
• 予測ダイナミクスモデルを用いたモデルベース学習を活用することで、強化学習におけるサンプル効率を向上させる。
• 形式的検証の概念（STLのロバストネス）をモデル予測制御に統合し、より安全で信頼性の高いポリシー合成を実現する。
• ピックアンドプレースやアダプティブクルーズコントロールといった複雑なロボットタスクにおいて、本手法のスケーラビリティとロバストネスを実証する。

提案手法

• 深層ニューラルネットワーク（DNN）を用いて、状態・行動の軌道データからシステムダイナミクスの決定的予測モデルを学習する。
• 予測モデルは、任意の制御行動のシーケンスに対して有限ホライズンの軌道を生成する。
• STLの定量的意味論（ロバストネス）に基づくコスト関数を用いて、予測された軌道の質を評価する。
• 進化戦略を用いたオンラインブラックボックス最適化が、STLに基づくコスト関数を最小化する最適な行動シーケンスを探索する。
• 最適化されたシーケンスの最初の行動を、再帰的ホライズンMPCの方法で適用し、各時刻でプロセスを繰り返す。
• モデルベース学習と形式的仕様に基づく最適化を組み合わせることで、手作業で設計された報酬関数を回避する。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計された報酬関数に依存せずに、STL仕様を用いて複雑なロボット行動を効果的に定義できるか？
• RQ2 形式的仕様を用いることで、モデルベース強化学習がサンプル効率と安全性をどのように向上させられるか？
• RQ3 予測された軌道上で進化戦略に基づく最適化が、複雑なタスクにおいて従来の報酬ベースの強化学習よりも優れた性能を発揮できるか？
• RQ4 STLのロバストネスをコスト関数として用いることで、制御系の信頼性がどの程度向上し、報酬のねじり込みがどの程度低減されるか？
• RQ5 本手法は、実世界のロボットおよび自動運転車両の制御タスクにどの程度スケーラブルに適用できるか？

主な発見

• 提案手法は、手作業で設計された報酬関数に依存せずに、安全で効果的な制御ポリシーをロボットシステムに合成できた。
• STLのロバストネスをコスト関数として用いることで、高レベルの時系列的および論理的制約を満たす行動を優先する制御系を実現できた。
• DNNダイナミクスモデルと進化最適化を用いたモデルベースアプローチは、標準的なモデルフリー強化学習よりも優れたサンプル効率を達成した。
• ピックアンドプレース用ロボットアームおよびアダプティブクルーズコントロールタスクにおける実験的評価により、多様な初期条件下でも安定的かつ正しい動作を示した。
• 形式論理を介してタスク仕様を最適化目的に直接統合することで、報酬のねじり込みに対してレジリエンスを示した。
• MPCにSTL意味論を統合することで、システムダイナミクスおよび初期状態の小さな摂動に対し、証明可能にロバストな制御系の合成が可能になった。