[论文解读] Environment-Independent Task Specifications via GLTL

Michael L. Littman, Ufuk Topcu+4 more|arXiv (Cornell University)|Apr 14, 2017

Distributed and Parallel Computing Systems参考文献 20被引用 61

一句话总结

GLTL 引入一种概率性、环境无关的任务规范语言，作为 LTL 的几何变体，使强化学习中的任务表示可学习，并可替代固定奖励函数。

ABSTRACT

We propose a new task-specification language for Markov decision processes that is designed to be an improvement over reward functions by being environment independent. The language is a variant of Linear Temporal Logic (LTL) that is extended to probabilistic specifications in a way that permits approximations to be learned in finite time. We provide several small environments that demonstrate the advantages of our geometric LTL (GLTL) language and illustrate how it can be used to specify standard reinforcement-learning tasks straightforwardly.

研究动机与目标

• 激发对超越传统奖励函数、环境无关任务规范的需求。
• 提出 GLTL 作为对 LTL 的概率扩展，具有有界、几何分布的运算符过期时间。
• 展示如何将 GLTL 学习并与环境 MDP 进行组合，以指定并解决标准的 RL 任务。
• 通过示例演示 GLTL 能表达用奖励难以编码的任务，并且提高可学习性。

提出的方法

• 通过对时间算子设置几何分布的过期窗口来有界化引入几何线性时序逻辑（GLTL）。
• 将 GLTL 公式转换为规范 MDP，使环境 MDP 增强为具备内部记忆以实现任务满足。
• 定义运算符： diamondsuit_{\u03bc}p, Box_{\u03bc}q, 和 〃un_{\u0003bc}，它们在有界窗口中的语义分别为。
• 将环境 MDP 与规范 MDP 进行笛卡尔积构造，得到联合 MDP。
• 求解联合 MDP，以最大化 GLTL 满足的概率，从而有效引导策略实现对规范的满足。
• 解释运算符优先级，并提供通过 conjunction、disjunction 和 until 组合规范 MDP 的构造规则。

实验结果

研究问题

• RQ1 在强化学习环境中，基于 LTL 的任务规范能否高效学习？
• RQ2 引入几何、带界语义的 GLTL 相较于经典 LTL 或纯奖励是否提高了可学习性和鲁棒性？
• RQ3 如何将 GLTL 公式系统地转换为规范 MDP，并与环境 MDP 组合，以产生环境无关的任务解决方案？
• RQ4 哪些标准的 RL 任务可以用 GLTL 自然表达，而用奖励难以表达？

主要发现

• GLTL 能实现环境无关的任务规范，可自动集成到环境 MDP 中以最大化任务满足概率。
• 具体而言，GLTL 的有界运算符相比无界的 LTL 规范带来更稳定的学习，满足概率与估计精度之间呈平滑关系。
• 该方法能比仅奖励的表达更自然地表示标准的 RL 任务（目标到达、避让、排序、稳定化）。
• 该方法生成一个固定的复合 MDP，其最优策略最大化满足 GLTL 规范的可能性。
• 示例表明诸如先到达红色状态且没有蓝色障碍物，然后到达绿色状态的任务可以被编码和求解，即使存在障碍物。