[论文解读] Automata Guided Reinforcement Learning With Demonstrations

Xiao Li, Yao Ma+1 more|arXiv (Cornell University)|Sep 17, 2018

Reinforcement Learning in Robotics参考文献 29被引用 11

一句话总结

本文提出了一种强化学习框架，将句法上安全的截断线性时序逻辑（scTLTL）与示范相结合，以生成任务对齐的内在奖励和分层策略。通过将scTLTL规范编译为有限状态自动机（FSA），该方法提供了结构化的内在奖励，有效引导学习过程，显著降低样本复杂度，并在具有复杂逻辑结构目标的机器人操作任务中提升鲁棒性。

ABSTRACT

Tasks with complex temporal structures and long horizons pose a challenge for reinforcement learning agents due to the difficulty in specifying the tasks in terms of reward functions as well as large variances in the learning signals. We propose to address these problems by combining temporal logic (TL) with reinforcement learning from demonstrations. Our method automatically generates intrinsic rewards that align with the overall task goal given a TL task specification. The policy resulting from our framework has an interpretable and hierarchical structure. We validate the proposed method experimentally on a set of robotic manipulation tasks.

研究动机与目标

• 为解决在强化学习中为长时程、具有逻辑结构的任务指定奖励函数的挑战。
• 通过时序逻辑形式化任务规范，降低学习过程中的样本复杂度与方差。
• 通过结合示范与自动机引导的内在奖励，提升学习效率与策略鲁棒性。
• 实现可解释的分层策略，自然地将复杂任务分解为子任务。
• 实现从仿真环境到真实世界机器人系统的零样本策略迁移。

提出的方法

• 该方法将给定的scTLTL任务规范编译为有限状态自动机（FSA），用作进度追踪器与内在奖励生成器。
• 内在奖励源自FSA状态转移，提供密集且与任务对齐的信号，引导探索以实现目标。
• 将FSA状态作为状态空间中的离散维度，有效构建课程学习机制，将任务分解为更简单的子任务。
• 利用示范通过行为克隆初始化策略，减少初始探索时间并缓解协变量偏移问题。
• 采用混合训练方法，结合离策略深度强化学习（如DDPG）与FSA增强的MDP及奖励塑形。
• 该框架使用时序逻辑中的鲁棒性度量评估任务成功性，支持不同方法之间的公平比较。

实验结果

研究问题

• RQ1 通过scTLTL形式化任务规范，能否提升复杂、具有逻辑结构任务在强化学习中的样本效率？
• RQ2 与启发式奖励塑形相比，自动机引导的内在奖励塑形在学习速度与成功率方面表现如何？
• RQ3 结合示范与FSA增强奖励在多大程度上减少训练方差并加速收敛？
• RQ4 在仿真环境中训练的策略能否成功实现零样本迁移至真实世界机器人平台？
• RQ5 FSA所生成的分层结构在多大程度上实现了可解释且鲁棒的策略学习？

主要发现

• 所提方法在任务1和任务2上分别实现了平均36.5步和34.3步的稳定任务完成，显著优于基于奖励塑形的基线方法。
• 采用示范与FSA奖励训练的策略收敛速度更快且方差更低，而仅使用奖励塑形的方法在规定训练时间内未能解决任务。
• 基于奖励塑形的策略在任务1和任务2上的平均步数分别为99.6步和95.5步，表明其样本效率极低。
• 该方法成功实现了从仿真到真实世界Baxter机器人的零样本迁移，在两个任务中均在10次随机试验中取得高成功率。
• 基于FSA的内在奖励减少了奖励欺骗现象，并通过与形式化任务规范对齐，提升了策略的可解释性。
• FSA提供的分层结构使智能体能够通过将任务分解为可管理的子目标，更高效地学习复杂序列。