[论文解读] Learning and Planning with a Semantic Model

Yi Wu, Yuxin Wu+4 more|arXiv (Cornell University)|Sep 28, 2018

Multimodal Machine Learning Applications参考文献 31被引用 11

一句话总结

LEAPS 提出了一种基于模型与无模型相结合的强化学习框架，利用轻量级、可解释的贝叶斯语义模型进行高层规划，同时采用学习得到的多目标子策略实现低层视觉控制。该方法通过利用语义规律并基于贝叶斯推理以极少经验动态更新语义模型，在未见过的 House3D 环境中进行视觉导航时，显著优于强基线模型，尤其在长时程任务中表现更优。

ABSTRACT

Building deep reinforcement learning agents that can generalize and adapt to unseen environments remains a fundamental challenge for AI. This paper describes progresses on this challenge in the context of man-made environments, which are visually diverse but contain intrinsic semantic regularities. We propose a hybrid model-based and model-free approach, LEArning and Planning with Semantics (LEAPS), consisting of a multi-target sub-policy that acts on visual inputs, and a Bayesian model over semantic structures. When placed in an unseen environment, the agent plans with the semantic model to make high-level decisions, proposes the next sub-target for the sub-policy to execute, and updates the semantic model based on new observations. We perform experiments in visual navigation tasks using House3D, a 3D environment that contains diverse human-designed indoor scenes with real-world objects. LEAPS outperforms strong baselines that do not explicitly plan using the semantic content.

研究动机与目标

• 提升深度强化学习智能体在未见、视觉多样的人造环境中的泛化能力。
• 解决无模型强化学习在规划密集型任务中的局限性，以及基于模型强化学习在高维观测空间中的挑战。
• 利用现实世界室内场景中共享的语义结构（如房间功能、物体布局）实现高效规划。
• 开发一种轻量级、可解释且可动态更新的语义模型，以支持在极少观测下的高效规划。
• 证明语义层级规划能显著提升长时程视觉导航任务的性能。

提出的方法

• 该框架结合了无模型的多目标子策略，基于第一人称视觉输入执行基本动作。
• 在低维二值语义信号（如房间类型、物体存在性）上学习一个贝叶斯语义模型，以表示环境的结构先验。
• 语义模型初始时采用训练分布的先验，并在测试过程中通过新观测进行后验推理以实现更新。
• 高层决策通过在语义模型上进行规划，选择子策略的下一个子目标。
• 语义模型通过贝叶斯法则实现增量式更新，支持以极少探索实现高效适应。
• 系统采用混合架构：语义模型用于规划，视觉策略用于执行，两者均以共享的语义信号作为输入。

实验结果

研究问题

• RQ1 基于语义结构的基于模型规划系统是否能提升在未见 3D 环境中的泛化能力？
• RQ2 在长时程导航任务中，基于轻量级、可解释语义模型的规划方式与端到端无模型或分层强化学习相比表现如何？
• RQ3 贝叶斯语义模型在极少观测下能否被高效更新，以支持有效探索？
• RQ4 与原始像素相比，使用语义信号是否能提升视觉导航中的样本效率和性能？
• RQ5 当语义信号通过神经网络而非真实标签提取时，该框架的表现如何？

主要发现

• LEAPS 显著优于强基线的无模型方法，包括语义增强策略和使用 LSTM 控制器的分层强化学习智能体，尤其在长时程任务中表现更优。
• 随着目标距离的增加，LEAPS 相对于基线的性能提升显著增大，证明了语义层级规划的有效性。
• 即使使用基于 CNN 的语义提取器（而非真实标签），LEAPS 仍保持强大性能，与使用真实语义的参考智能体表现极为接近。
• LEAPS 中的语义模型极为高效，仅含 38 个参数，远少于 LSTM 控制器的 10,000 多个参数，同时实现了更优性能。
• LEAPS 能够通过极少微调快速适应新子策略，因为语义模型的先验保持不变，且后验更新高效。
• 在随机迷宫中，该框架退化为穷举搜索，证实其成功依赖于真实世界环境中语义的一致性。