[論文レビュー] Correct-by-synthesis reinforcement learning with temporal logic constraints

Min Wen, Rüdiger Ehlers+1 more|arXiv (Cornell University)|Mar 5, 2015

Formal Methods in Verification被引用数 11

ひとこと要約

本稿では、未知の性能基準を最適化しつつ時間論理仕様を保証する、合成による正しさを保証する強化学習フレームワークを提案する。問題を（1）仕様満足のための最大許容戦略の計算、および（2）その戦略の動作領域内で最大最小-Q学習を適用して最適性を達成する、という二段階に分離する。これにより、GR(1)仕様下で正しさとほぼ最適性が保証される。

ABSTRACT

We consider a problem on the synthesis of reactive controllers that optimize some a priori unknown performance criterion while interacting with an uncontrolled environment such that the system satisfies a given temporal logic specification. We decouple the problem into two subproblems. First, we extract a (maximally) permissive strategy for the system, which encodes multiple (possibly all) ways in which the system can react to the adversarial environment and satisfy the specifications. Then, we quantify the a priori unknown performance criterion as a (still unknown) reward function and compute an optimal strategy for the system within the operating envelope allowed by the permissive strategy by using the so-called maximin-Q learning algorithm. We establish both correctness (with respect to the temporal logic specifications) and optimality (with respect to the a priori unknown performance criterion) of this two-step technique for a fragment of temporal logic specifications. For specifications beyond this fragment, correctness can still be preserved, but the learned strategy may be sub-optimal. We present an algorithm to the overall problem, and demonstrate its use and computational requirements on a set of robot motion planning examples.

研究の動機と目的

• 時間論理仕様を満たしつつ、事前に未知の性能基準を最適化する反応型コントローラの合成に取り組む。
• 仕様満足と性能最適化を分離し、未知の報酬関数にかかわらず正しさを保証する。
• 時間論理制約を満たす勝利戦略の集合内で最適な振る舞いを可能にする。
• 実世界の応用性を持つロボット運動計画問題に本手法を適用して示す。
• 許容戦略構築における性能と計算コストのトレードオフを分析する。

提案手法

• まず、敵対的環境相互作用下で与えられた時間論理仕様を満たすすべての方法を符号化する、システムの最大許容戦略を計算する。
• 次に、未知の性能基準を未知の報酬関数として表現し、その戦略の動作領域内で最大最小-Q学習アルゴリズムを適用する。
• 二段階の学習プロセスを用いる：許容戦略の合成、その後に許可された戦略空間上の強化学習。
• 最適性と正しさの十分条件を保証するため、線形時間論理（LTL）のGR(1)断片を活用する。
• 許容性を向上させ、学習性能を改善するために、ゲームモデルにカウンタ拡張を導入する。
• 環境の複雑さとカウンタ制約の異なるロボット運動計画の例に、アルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 時間論理仕様を保証しつつ、未知の性能基準を最適化する反応型コントローラを合成できるか？
• RQ2 時間論理仕様にどのような条件が課されると、学習戦略が正しくかつ最適になるか？
• RQ3 戦略の許容性は、学習方策の性能と計算コストにどのように影響するか？
• RQ4 仕様がGR(1)断片の外にある場合でも、正しさを保持できるか？
• RQ5 学習方策の性能と、許容戦略を生成するために必要な計算努力との間にはどのようなトレードオフがあるか？

主な発見

• 提案手法は、仕様がGR(1)断片の外にあっても、時間論理仕様に関して正しさを保証する。
• GR(1)仕様の場合、最大最小-Q学習により、未知の性能基準に関して最適性を達成する。
• 例2では、許容戦略における勝利戦略の損失により、学習戦略の性能が非最適であった。これは、仕様構造の重要性を確認するものである。
• 例3では、ゲームモデルのカウンタ制限を引き上げることで、最大割引報酬が5.7368から9.8616に向上し、学習時間は9.87秒から275.88秒に延長された。
• 許容性が向上するにつれ、学習反復回数は20×10⁴から534×10⁴に増加し、性能と計算コストの直接的なトレードオフを示している。
• 本手法は、複雑なナビゲーションと到達要件を有するロボット運動計画タスクにおいて、スケーラビリティと正しさを効果的に示した。