[论文解读] Correct-by-synthesis reinforcement learning with temporal logic constraints

Min Wen, Rüdiger Ehlers+1 more|arXiv (Cornell University)|Mar 5, 2015

Formal Methods in Verification被引用 11

一句话总结

本文提出了一种合成正确性强化学习框架，可在优化未知性能准则的同时保证时序逻辑规范。该方法将问题解耦为（1）计算满足规范的最大允许策略，以及（2）在该策略的操作范围内应用最大最小-Q学习以实现最优性，从而在GR(1)规范下确保正确性与近似最优性。

ABSTRACT

We consider a problem on the synthesis of reactive controllers that optimize some a priori unknown performance criterion while interacting with an uncontrolled environment such that the system satisfies a given temporal logic specification. We decouple the problem into two subproblems. First, we extract a (maximally) permissive strategy for the system, which encodes multiple (possibly all) ways in which the system can react to the adversarial environment and satisfy the specifications. Then, we quantify the a priori unknown performance criterion as a (still unknown) reward function and compute an optimal strategy for the system within the operating envelope allowed by the permissive strategy by using the so-called maximin-Q learning algorithm. We establish both correctness (with respect to the temporal logic specifications) and optimality (with respect to the a priori unknown performance criterion) of this two-step technique for a fragment of temporal logic specifications. For specifications beyond this fragment, correctness can still be preserved, but the learned strategy may be sub-optimal. We present an algorithm to the overall problem, and demonstrate its use and computational requirements on a set of robot motion planning examples.

研究动机与目标

• 解决合成反应式控制器的挑战，使其在满足时序逻辑规范的同时优化事先未知的性能准则。
• 将规范满足与性能优化解耦，确保无论未知奖励函数如何，均能保证正确性。
• 在满足时序逻辑约束的所有获胜策略集合内实现最优行为。
• 在具有现实应用价值的机器人运动规划问题上展示该方法。
• 分析在允许策略构建过程中性能与计算成本之间的权衡。

提出的方法

• 首先，为系统计算一个最大允许策略，以编码在对抗性环境交互下满足给定时序逻辑规范的所有可能方式。
• 其次，将未知性能准则表示为未知奖励函数，并在该策略的操作范围内应用最大最小-Q学习算法。
• 采用两阶段学习过程：先进行允许策略合成，再在允许的策略空间上进行强化学习。
• 利用线性时序逻辑（LTL）的GR(1)片段，以确保最优性与正确性的充分条件。
• 引入基于计数器的扩展到博弈模型中，以提高允许性并改善学习性能。
• 将该算法应用于具有不同环境复杂度与计数器约束的机器人运动规划示例中。

实验结果

研究问题

• RQ1 能否合成一种反应式控制器，以保证在优化未知性能准则的同时满足时序逻辑规范？
• RQ2 时序逻辑规范的何种条件可确保所学策略既正确又最优？
• RQ3 策略的允许性如何影响所学策略的性能与计算成本？
• RQ4 当规范超出GR(1)片段时，该方法是否仍能保持正确性？
• RQ5 所学策略的性能与生成允许策略所需计算工作量之间存在何种权衡？

主要发现

• 所提方法即使在规范超出GR(1)片段时，也能保证相对于时序逻辑规范的正确性。
• 对于GR(1)规范，该方法通过最大最小化-Q学习实现了相对于未知性能准则的最优性。
• 在示例2中，所学策略性能次优，原因是允许策略中损失了获胜策略，证实了规范结构的重要性。
• 在示例3中，增加博弈模型中的计数器限制后，最大折扣奖励从5.7368提升至9.8616，学习时间从9.87秒增加至275.88秒。
• 随着允许性的增加，学习迭代次数从20×10⁴增加至534×10⁴，表明性能与计算成本之间存在直接权衡。
• 该方法在具有复杂导航与访问需求的机器人运动规划任务中成功展示了可扩展性与正确性。