[论文解读] Learning Belief Representations for Imitation Learning in POMDPs

Tanmay Gangwani, Joel Lehman+2 more|arXiv (Cornell University)|Jun 22, 2019

Reinforcement Learning in Robotics参考文献 42被引用 13

一句话总结

本文提出信念模块模仿学习（BMIL），一种用于部分可观察马尔可夫决策过程（POMDP）中模仿学习的联合学习框架，通过任务感知的模仿损失联合训练信念表征与策略，显著提升了在MuJoCo连续控制运动任务中相较于解耦与任务无关基线方法的性能。

ABSTRACT

We consider the problem of imitation learning from expert demonstrations in partially observable Markov decision processes (POMDPs). Belief representations, which characterize the distribution over the latent states in a POMDP, have been modeled using recurrent neural networks and probabilistic latent variable models, and shown to be effective for reinforcement learning in POMDPs. In this work, we investigate the belief representation learning problem for generative adversarial imitation learning in POMDPs. Instead of training the belief module and the policy separately as suggested in prior work, we learn the belief module jointly with the policy, using a task-aware imitation loss to ensure that the representation is more aligned with the policy's objective. To improve robustness of representation, we introduce several informative belief regularization techniques, including multi-step prediction of dynamics and action-sequences. Evaluated on various partially observable continuous-control locomotion tasks, our belief-module imitation learning approach (BMIL) substantially outperforms several baselines, including the original GAIL algorithm and the task-agnostic belief learning algorithm. Extensive ablation analysis indicates the effectiveness of task-aware belief learning and belief regularization.

研究动机与目标

• 解决在无法获取完整状态信息的部分可观察环境中的模仿学习挑战。
• 克服先前方法中信念模块与策略分别训练所导致的表征错位问题。
• 通过与策略目标联合优化，提升信念表征的鲁棒性与任务相关性。
• 开发正则化技术以防止信念退化，并增强信念学习中的时序抽象能力。

提出的方法

• 在对抗式模仿学习框架中，通过极小化-极大化目标，联合训练信念模块、策略和判别器。
• 引入任务感知的模仿损失，使信念表征与策略目标对齐，从而提升策略性能。
• 应用多步预测正则化：在多个时间范围（k=1,5,10）内预测未来和过去的观测与动作序列。
• 使用辅助损失进行前向动力学（预测下一时刻观测）、反向动力学（从观测变化中预测动作）以及动作序列建模。
• 通过时间反向传播，端到端训练信念模块，与策略和判别器联合优化。
• 为信念模块采用循环结构，以编码历史信息并保持时序依赖性。

实验结果

研究问题

• RQ1 与解耦训练相比，信念与策略网络的联合训练是否能提升POMDP中模仿学习的性能？
• RQ2 在信念表征学习中引入任务感知监督，是否能带来优于任务无关预训练的策略性能？
• RQ3 对观测与动作的多步预测损失在提升信念表征的鲁棒性与表达能力方面有多有效？
• RQ4 前向、反向与动作预测损失在信念表征学习中的整体性能中各自贡献如何？
• RQ5 所提出的框架能否在MuJoCo中多样化的部分可观察连续控制任务中实现泛化？

主要发现

• BMIL在所有评估的MuJoCo运动控制任务中，显著优于原始GAIL算法和任务无关信念学习基线方法。
• 任务感知模仿损失在所有环境中均带来一致的性能提升，包括Walker和Hopper等任务，其中任务无关方法表现欠佳。
• 每种正则化组件——前向、反向与动作预测——均优于无正则化基线，完整BMIL模型实现了最佳样本效率与最终回报。
• 与单步预测相比，多步预测（k=5和k=10）提升了学习速度与最终性能，表明时序抽象能增强表征质量。
• 消融实验确认，结合所有正则化项可获得最强性能，BMIL在Ant和Walker任务中实现了最高的平均回合回报。
• 当预测在编码潜在空间而非原始观测空间中进行时，性能保持稳定，表明对表征选择具有鲁棒性。