[论文解读] Learning Temporal Strategic Relationships using Generative Adversarial Imitation Learning

Tharindu Fernando, Simon Denman+2 more|arXiv (Cornell University)|May 13, 2018

Reinforcement Learning in Robotics参考文献 38被引用 20

一句话总结

该论文提出MA-GAIL，一种新型的生成对抗模仿学习框架，通过整合局部与全局记忆模块，建模专家示范中的时间战略关系，以实现长期规划。通过利用记忆增强的奖励信号，该方法能够学习子任务序列与专家特定策略，在自动驾驶模拟中表现优于最先进方法，实现更优的变道表现、更少的偏离道路行为以及更平滑的状态转换。

ABSTRACT

This paper presents a novel framework for automatic learning of complex strategies in human decision making. The task that we are interested in is to better facilitate long term planning for complex, multi-step events. We observe temporal relationships at the subtask level of expert demonstrations, and determine the different strategies employed in order to successfully complete a task. To capture the relationship between the subtasks and the overall goal, we utilise two external memory modules, one for capturing dependencies within a single expert demonstration, such as the sequential relationship among different sub tasks, and a global memory module for modelling task level characteristics such as best practice employed by different humans based on their domain expertise. Furthermore, we demonstrate how the hidden state representation of the memory can be used as a reward signal to smooth the state transitions, eradicating subtle changes. We evaluate the effectiveness of the proposed model for an autonomous highway driving application, where we demonstrate its capability to learn different expert policies and outperform state-of-the-art methods. The scope in industrial applications extends to any robotics and automation application which requires learning from complex demonstrations containing series of subtasks.

研究动机与目标

• 为解决标准GAIL在捕捉专家示范中长期时间依赖性和序列子任务关系方面的局限性。
• 在复杂决策任务中，同时建模轨迹内子任务依赖关系（局部记忆）与跨专家战略差异（全局记忆）。
• 通过使用记忆隐藏状态作为奖励信号，对状态转换进行正则化，提升策略平滑性并减少异常操作。
• 实现无需手工设计奖励函数、架构无关的数据驱动模仿学习，适用于机器人与自动化领域。
• 展示模型在特定指标上超越人类专家的能力，同时在其他指标上保持匹配或超越表现。

提出的方法

• 提出双记忆架构：局部记忆模块用于追踪单条专家轨迹内的子任务序列，并在每条示范后重置。
• 采用全局记忆模块，捕捉一批示范中跨专家的行为差异与领域级最佳实践。
• 将两个记忆模块的隐藏状态作为奖励信号，引导策略学习，促进平滑稳定的转换。
• 扩展GAIL框架，引入记忆增强判别器，基于当前状态与历史上下文评估专家轨迹与模仿轨迹的差异。
• 应用奖励增强机制，通过测量连续时间步间记忆状态的差异，对突变状态变化施加惩罚。
• 采用端到端对抗模仿学习训练策略网络，其中生成器（策略）最小化判别器区分专家与专家类似行为的能力。

实验结果

研究问题

• RQ1 如何有效建模复杂多步专家示范中子任务之间的序列关系？
• RQ2 在相似环境条件下，记忆增强的GAIL框架在多大程度上能解耦不同专家策略？
• RQ3 由记忆导出的奖励信号能否提升策略平滑性并减少模仿学习中的不良状态转换？
• RQ4 与标准GAIL或BC方法相比，局部与全局记忆模块的集成在多大程度上提升了长期规划能力？
• RQ5 所提方法能否在多样化专家行为中泛化，并在特定驾驶指标上超越人类示范者？

主要发现

• 所提出的MA-GAIL模型在该指标上实现了1.40的行驶距离（归一化单位），优于所有基线方法，包括人类专家。
• MA-GAIL将急刹车率降低至0.19，显著低于次优基线（MA-GAIL / M^G为0.20），表明驾驶行为更平滑。
• 该模型在所有方法中实现了最低的变道率（0.33），表明子任务定位更优且振荡更少。
• 消融实验表明，若移除局部或全局记忆，性能均会下降，其中MA-GAIL / M^L的变道率达0.59，偏离道路率达0.42。
• 奖励增强机制（MA-GAIL / RA）在性能上优于基线GAIL，但仍逊于完整MA-GAIL模型，证明其必要性。
• 定性结果表明，该模型成功执行了复杂操作，如变道、超车与转弯，且在多样化视觉输入下表现稳健，展示了对时间上下文的深刻理解。