[論文レビュー] Reinforcement Learning Based Temporal Logic Control with Soft Constraints Using Limit-deterministic Generalized Buchi Automata

Mingyu Cai, Shaoping Xiao+2 more|arXiv (Cornell University)|Jan 25, 2021

Reinforcement Learning in Robotics参考文献 35被引用数 5

ひとこと要約

本論文は、制限付き一般化 Büchi 自動機（LDGBA）を用いて、不確実な環境下におけるロボット運動計画のための制御方策を合成するモデルフリー強化学習フレームワークを提案する。これにより、実現不可能な線形時系列論理（LTL）仕様の部分的満足が可能になる。緩和された製品MDPと、受容条件の満足度を優先し、長期的違反コストを最小化するための効用関数を導入することで、受容可能な最大エンドコンポーネント（AMEC）が存在しない場合でさえ、受容を最大化し、制約違反を低減する方策への収束を保証する。

ABSTRACT

This paper studies the control synthesis of motion planning subject to uncertainties. The uncertainties are considered in robot motions and environment properties, giving rise to the probabilistic labeled Markov decision process (PL-MDP). A Model-Free Reinforcement The learning (RL) method is developed to generate a finite-memory control policy to satisfy high-level tasks expressed in linear temporal logic (LTL) formulas. Due to uncertainties and potentially conflicting tasks, this work focuses on infeasible LTL specifications, where a relaxed LTL constraint is developed to allow the agent to revise its motion plan and take violations of original tasks into account for partial satisfaction. And a novel automaton is developed to improve the density of accepting rewards and enable deterministic policies. We proposed an RL framework with rigorous analysis that is guaranteed to achieve multiple objectives in decreasing order: 1) satisfying the acceptance condition of relaxed product MDP and 2) reducing the violation cost over long-term behaviors. We provide simulation and experimental results to validate the performance.

研究の動機と目的

• ロボットの動的特性と環境特性の不確実性を確率的ラベル付きマルコフ意思決定過程（PL-MDP）としてモデル化し、それらの下での運動計画の課題に対処すること。
• 環境的制約や確率的禁止により従来の受容条件満足が不可能な場合の、非実現可能なLTL仕様に対する制御合成を可能にすること。
• 2つの目的を優先する強化学習フレームワークの開発：(1)緩和された製品MDPの受容条件を満たすこと、(2)長期的違反コストを最小化すること。
• 受容可能な最大エンドコンポーネント（AMEC）の存在に依存する従来のRL手法の制限を克服すること。
• 計算複雑性を増加させずに、未訪問の受容集合を追跡できる新たな自動機構成（E-LDGBA）を用いて、報酬密度を向上させ、決定的方策を可能にすること。

提案手法

• 本論文は、非実現可能なLTL仕様を扱うために、部分的満足を許容する緩和された製品MDPを導入し、標準的な製品MDPに代わる構造を変更することで制約緩和を可能にする。
• 自動機のサイズを小さくし、特に複雑なLTL式に対してスケーラビリティを向上させるために、決定的ラビン自動機（DRA）の代わりに制限付き決定的一般化 Büchi 自動機（LDGBA）を採用する。
• LDGBA内の受容集合が訪問されたかどうかを明示的に追跡できるように、新たな拡張LDGBA（E-LDGBA）を設計し、RLプロセスにおける報酬形状の効果を高める。
• 受容集合への訪問を報奨し、違反をペナルティ化することで、長期的なLTLタスクの受容を優先する効用関数を構築する。目的は階層的であり、まず受容条件を満たし、その後で違反コストを最小化する。
• 報酬設計に同期的フロント関数を用いたモデルフリーRLフレームワークを採用し、緩和された指定に従って期待効用を最大化する方策を学習可能であることを保証する。
• 理論的分析により、提案フレームワークが、AMECが存在しない場合でも、緩和された製品MDPの受容条件を満たし、長期的違反コストを最小化する方策への収束を保証することが示された。

実験結果

リサーチクエスチョン

• RQ1 標準的な製品MDPに受容可能な最大エンドコンポーネント（AMEC）が存在しない場合に、受容可能な最大エンドコンポーネントの存在を前提としない、不確実な環境下におけるロボット運動計画のための制御方策を合成する強化学習フレームワークを設計できるか？
• RQ2 環境的制約により確率的に実現不可能な場合に、完全な満足が不可能なLTL仕様を、原理的かつ部分的満足を許容する形で緩和する方法は何か？
• RQ3 制限付き決定的一般化 Büchi 自動機（LDGBA）を活用することで、時系列論理タスクのRLベース制御合成における報酬密度の向上と決定的方策の実現が可能になるか？
• RQ4 RLエージェントが、違反コストの最小化よりもまず緩和された製品MDPの受容条件を満たすように優先する報酬形状メカニズムは何か？
• RQ5 本フレームワークは、不確実な環境下で、受容条件の満足度と長期的違反コストの最小化を最適にバランスさせる方策への収束をどのように保証できるか？

主な発見

• 提案されたRLフレームワークは、標準的な製品MDPに受容可能な最大エンドコンポーネント（AMEC）が存在しない場合でも、緩和された製品MDPの受容条件を満たす方策への収束を保証する。
• 未訪問の受容集合を追跡するE-LDGBAの使用により、報酬密度の著しい向上と方策の決定的特性が達成され、より効果的かつ的確な報酬信号が可能になる。
• 理論的分析により、受容条件を満たさない方策よりも、受容条件を満たす方策の期待効用が、一時的状態の段階でも上回ることが確認された。
• シミュレーションおよび実験結果により、不確実な環境下で複雑なLTLタスクを部分的に満足する方策を生成できること、かつ時間経過とともに違反コストが顕著に低減することが検証された。
• DRAの代わりにLDGBAを用いることで、自動機のサイズと計算複雑性が低減され、複雑なLTL式に対してもスケーラブルな合成が可能になった。
• AMECが存在しない場合に従来のRL手法が失敗する状況でも、本フレームワークは確率的に禁止的な環境下でも頑健に動作することを示した。