[論文レビュー] Continuous Motion Planning with Temporal Logic Specifications using Deep Neural Networks

Chuanzheng Wang, Yinan Li+2 more|arXiv (Cornell University)|Apr 2, 2020

Reinforcement Learning in Robotics参考文献 29被引用数 8

ひとこと要約

本稿では、密度的な報酬設計を可能にする注釈付き限界決定的 Büchi 自動機（LDBA）を用いて、連続的な運動計画における線形時相論理（LTL）仕様を満たす深層強化学習手法を提案する。各訓練エピソードの開始時に自動機の状態をランダムにサンプリングすることで、初期状態を固定する従来手法とは異なり、サンプル効率と成功確率を顕著に向上させ、シミュレーション上での車型ロボットにおける複雑なLTLタスクで63.3%の成功を達成した。

ABSTRACT

In this paper, we propose a model-free reinforcement learning method to synthesize control policies for motion planning problems with continuous states and actions. The robot is modelled as a labeled discrete-time Markov decision process (MDP) with continuous state and action spaces. Linear temporal logics (LTL) are used to specify high-level tasks. We then train deep neural networks to approximate the value function and policy using an actor-critic reinforcement learning method. The LTL specification is converted into an annotated limit-deterministic Büchi automaton (LDBA) for continuously shaping the reward so that dense rewards are available during training. A naïve way of solving a motion planning problem with LTL specifications using reinforcement learning is to sample a trajectory and then assign a high reward for training if the trajectory satisfies the entire LTL formula. However, the sampling complexity needed to find such a trajectory is too high when we have a complex LTL formula for continuous state and action spaces. As a result, it is very unlikely that we get enough reward for training if all sample trajectories start from the initial state in the automata. In this paper, we propose a method that samples not only an initial state from the state space, but also an arbitrary state in the automata at the beginning of each training episode. We test our algorithm in simulation using a car-like robot and find out that our method can learn policies for different working configurations and LTL specifications successfully.

研究の動機と目的

• 複雑なLTL仕様を伴う連続的運動計画のための深層強化学習エージェントにおける報酬の疎らさという課題に取り組む。
• 終端報酬に依存する標準的な強化学習手法の限界を克服する。これは、高次元で連続的な制御問題においてサンプル効率が著しく低い結果をもたらす。
• エピソード初期化時に自動機状態をサンプリングすることで、状態依存の密度的で連続的な報酬信号を可能にし、学習の安定性と収束性を向上させる。
• LDBA-注釈付き報酬設計を用いた深層決定的方策勾配（DDPG）アルゴリズムにより、非線形ロボットモデルが複雑な時相論理制約のもとで効果的に方策学習を可能にする。
• 非凸的かつ制約のある環境を含む、多様な初期状態とLTL仕様において、再訓練なしにシミュレーション上で堅牢に動作することを示す。

提案手法

• 与えられたLTL仕様を注釈付き限界決定的 Büchi 自動機（LDBA）に変換し、受容条件を符号化するとともに、連続的な報酬設計を可能にする。
• 各エピソードの開始時に、ロボットの初期状態とLDBAの状態をランダムにサンプリングする、新たな訓練手法を導入する。これにより、自動機の初期状態に固定する従来手法とは異なり、柔軟な初期化が可能になる。
• LDBA状態を用いて、各ステップでLTL式を満たす方向に進むよう誘導する状態依存の密度的報酬関数を定義する。
• 高次元の状態空間と行動空間において連続的制御方策を学習するために、別個のエージェントネットワークとクライアントネットワークを有する深層決定的方策勾配（DDPG）アルゴリズムを適用する。
• ロボット力学とLDBAの積MDPを一つの環境に統合し、クライアントが状態-行動価値を推定し、エージェントが方策勾配更新を通じて方策を改善する。
• 進行度に対する負の密度的報酬、ゴール領域到達に対する正の報酬、制約違反（例：特定の状態に到達後、禁止領域に入ること）に対するペナルティを含む報酬関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 注釈付きLDBAによる密度的報酬設計は、LTL仕様を伴う連続的運動計画のための深層強化学習におけるサンプル効率を向上させるか？
• RQ2 エピソード開始時に自動機状態をランダムにサンプリングすることで、自動機初期状態に固定する従来手法と比較して学習性能が向上するか？
• RQ3 本手法は、論理和、時系列順序、制約（例：特定のイベント後に特定領域を避ける）を含む複雑なLTL式に対しても、方策を効果的に学習できるか？
• RQ4 非凸障害物配置や複数の初期状態において、本手法はシミュレーションでどの程度の性能を示すか？
• RQ5 再訓練なしに、異なる作業設定やLTL仕様に対して、本手法はどの程度一般化可能か？

主な発見

• 例2では、30個の初期状態に対して本手法は63.3%の成功率を達成したのに対し、標準手法ではたった13.3%にとどまり、サンプル効率の顕著な向上が確認された。
• 例3のケース1では63.3%、ケース2では60%の成功率を達成したのに対し、標準手法はそれぞれ10%および6.7%にとどまり、領域封鎖などの複雑な制約がある状況でも優れた性能を示した。
• LTL式が要求する場合（例：領域bに到達後、領域cを避ける）に、禁止領域（例：領域c）を正しく回避する能力を示し、自動機を通じた正しい論理的推論が可能であることを実証した。
• 初期位置に応じて最適な経路を動的に選択できる能力を示した。例えば、領域bが禁止領域に続く場合、領域aを選択することで適応的判断を示した。
• エピソード開始時の自動機状態のランダムサンプリングにより、特に複数の分岐と時系列依存性を持つ複雑なLTL式に対して、学習の安定性と収束性が顕著に向上した。
• シミュレーション結果から、異なる初期位置やLTL仕様に対しても本手法が良好に一般化できることを示し、非線形な車型ロボットの動的モデルに対しても有効な軌道を生成できた。