[论文解读] Adversarial Option-Aware Hierarchical Imitation Learning

Mingxuan Jing, Wenbing Huang+5 more|arXiv (Cornell University)|Jun 10, 2021

Reinforcement Learning in Robotics参考文献 30被引用 9

一句话总结

本文提出 Option-GAIL，一种新颖的分层模仿学习框架，通过引入选项来建模长时程任务，并利用扩展选项的占用测量匹配进行对抗性优化训练策略。该方法采用类似 EM 的算法，联合优化高层与低层策略，在机器人行走与操作任务中实现了比当前最先进基线更快的收敛速度和更优的性能。

ABSTRACT

It has been a challenge to learning skills for an agent from long-horizon unannotated demonstrations. Existing approaches like Hierarchical Imitation Learning(HIL) are prone to compounding errors or suboptimal solutions. In this paper, we propose Option-GAIL, a novel method to learn skills at long horizon. The key idea of Option-GAIL is modeling the task hierarchy by options and train the policy via generative adversarial optimization. In particular, we propose an Expectation-Maximization(EM)-style algorithm: an E-step that samples the options of expert conditioned on the current learned policy, and an M-step that updates the low- and high-level policies of agent simultaneously to minimize the newly proposed option-occupancy measurement between the expert and the agent. We theoretically prove the convergence of the proposed algorithm. Experiments show that Option-GAIL outperforms other counterparts consistently across a variety of tasks.

研究动机与目标

• 解决从无标注、非分割示范中学习长时程技能的挑战。
• 克服现有分层模仿学习（HIL）方法中常见的误差累积与次优解问题。
• 开发一种理论基础扎实、可端到端训练的框架，联合优化高层与低层策略。
• 通过将选项融入占用测量匹配过程，确保专家与智能体之间的一致性选项切换。
• 提供一种具有收敛性保证的训练算法，用于复杂分层策略学习，且无需专家提供的选项标注。

提出的方法

• 用选项模型替代标准马尔可夫决策过程（MDP），以表示分层决策，实现子任务的分解。
• 提出一种新的选项占用测量，用于捕捉状态-动作-选项的联合分布，确保策略与其诱导的测量之间的一一对应关系。
• 提出一种类似 EM 的算法：E 步使用 Viterbi 解码，基于智能体策略与示范推断专家选项；M 步同时更新高层与低层策略。
• 在 M 步中采用极小化-极大化生成对抗框架：判别器估计专家与智能体在选项占用测量上的差异，策略通过分层强化学习更新以最小化该损失。
• 在 M 步中使用分层强化学习方法（Zhang & Whiteson, 2019）优化策略更新，确保跨层级的有效信用分配。
• 在较弱条件下证明了理论收敛性，建立了类似 EM 的训练循环的稳定性。

实验结果

研究问题

• RQ1 与标准占用测量匹配相比，扩展选项的占用测量匹配是否能提升分层模仿学习中的策略匹配精度？
• RQ2 端到端、高层与低层策略联合优化的训练方案是否优于两阶段或独立训练方法？
• RQ3 在无专家选项标注的情况下，包含选项推理与策略更新循环的类似 EM 算法能否实现稳定且收敛的训练？
• RQ4 选项类别的数量如何影响所学分层策略的性能与表达能力？
• RQ5 与当前最先进 HIL/IL 基线相比，Option-GAIL 在长时程机器人任务中是否能显著减少误差累积并提升最终性能？

主要发现

• 在多个机器人行走与操作任务中，Option-GAIL 显著优于当前最先进 HIL 与 IL 基线，收敛速度更快，最终性能更优。
• 消融实验表明，随机分配选项会严重降低性能，证实了准确选项推理的必要性。
• 若在判别器输入中省略前一时刻的选项 $o_{t-1}$，性能会下降，表明选项动态的时间一致性至关重要。
• 单独预训练高层策略（两阶段方法）会导致次优性能，验证了端到端联合训练的优势。
• 该方法对选项类别数量具有鲁棒性：当 $|o| \geq 3$ 时，性能趋于稳定，活跃选项数量保持在约 3 个，表明能自动剪枝冗余选项。
• 模型成功学习到专家与智能体之间的协作式选项切换，避免了 GAIL-HRL 中出现的不一致性，验证了选项感知匹配的必要性。