[论文解读] Look Before You Leap: Bridging Model-Free and Model-Based Reinforcement Learning for Planned-Ahead Vision-and-Language Navigation

Xin Wang, Wenhan Xiong+2 more|arXiv (Cornell University)|Mar 21, 2018

Multimodal Machine Learning Applications参考文献 32被引用 22

一句话总结

该论文提出了一种混合强化学习框架——增强型前瞻规划（Reinforced Planning Ahead, RPA），将无模型与基于模型的深度强化学习相结合，用于视觉-语言导航任务。通过结合学习到的环境模型与前瞻策略，模拟未来状态和奖励，RPA 显著提升了在真实世界 Room-to-Room（R2R）数据集上的导航性能与泛化能力，相较于无模型基线方法，在未见环境中的成功率相对提升了14.5%，达到当前最先进水平。

ABSTRACT

Existing research studies on vision and language grounding for robot navigation focus on improving model-free deep reinforcement learning (DRL) models in synthetic environments. However, model-free DRL models do not consider the dynamics in the real-world environments, and they often fail to generalize to new scenes. In this paper, we take a radical approach to bridge the gap between synthetic studies and real-world practices---We propose a novel, planned-ahead hybrid reinforcement learning model that combines model-free and model-based reinforcement learning to solve a real-world vision-language navigation task. Our look-ahead module tightly integrates a look-ahead policy model with an environment model that predicts the next state and the reward. Experimental results suggest that our proposed method significantly outperforms the baselines and achieves the best on the real-world Room-to-Room dataset. Moreover, our scalable method is more generalizable when transferring to unseen environments.

研究动机与目标

• 解决无模型强化学习在真实世界视觉-语言导航任务中的泛化差距问题。
• 使具身智能体能够通过内部环境模型模拟未来状态与奖励，实现前瞻规划。
• 通过无模型与基于模型学习的混合方法，提升在未见环境中的导航成功率与鲁棒性。
• 开发一种可扩展、可泛化的新型方法，在真实世界基准测试中超越现有无模型方法。

提出的方法

• RPA 框架将无模型策略与学习到的环境模型相结合，后者可从当前观测与动作预测下一状态与奖励。
• 前瞻模块利用环境模型模拟多步轨迹，并计算动作选择的期望累积奖励。
• 环境模型通过演示数据进行监督学习训练，同时最小化状态转移与奖励预测误差。
• 最终策略通过近端策略优化（PPO）端到端训练，采用密集的、折扣化的奖励信号，并结合二值成功信号进行增强。
• 该方法采用课程学习策略以稳定训练过程并提升样本效率。
• 该方法支持可扩展部署，可通过复用预训练的环境模型在新环境中无需重新训练即可应用。

实验结果

研究问题

• RQ1 将无模型与基于模型的强化学习相结合，是否能提升真实世界视觉-语言导航任务的性能？
• RQ2 利用学习到的环境模型进行前瞻规划，是否能增强对未见环境的泛化能力？
• RQ3 模拟未来轨迹的整合如何影响导航成功率与鲁棒性？
• RQ4 何种奖励设计策略能在导航误差与成功率两方面实现最优性能？
• RQ5 所提出的方法是否能有效扩展并迁移至新的未见环境中？

主要发现

• RPA 模型在 R2R 验证集未见环境上的成功率为 53.5%，相较于最佳无模型基线方法相对提升了 15.5%。
• 在测试集上，RPA 模型的成功率为 28.9%，相较于无模型基线方法相对提升了 14.5%。
• 基于模型的组件显著增强了泛化能力，未见环境中的性能提升远大于已见环境。
• 环境模型在约 500 次训练迭代后稳定收敛，状态转移与奖励预测损失均下降至稳定值。
• 结合折扣奖励与成功信号（Discounted & Success）的奖励设计表现最佳，优于全局距离奖励与仅二值成功信号。
• 消融实验表明，前瞻模块对性能提升至关重要，尤其在未见环境中表现显著。