[论文解读] Deep Learning for Embodied Vision Navigation: A Survey

Fengda Zhu, Yi Zhu+3 more|arXiv (Cornell University)|Jul 7, 2021

Multimodal Machine Learning Applications参考文献 211被引用 13

一句话总结

本综述全面概述了用于具身视觉导航的深度学习方法，对基准测试、任务和最先进模型进行了分类。它分析了部分观测、跨模态指令理解以及仿真到现实的域差距等挑战，并指出基于Transformer的架构、分层强化学习和迁移学习是构建鲁棒、可泛化导航智能体的未来关键方向。

ABSTRACT

"Embodied visual navigation" problem requires an agent to navigate in a 3D environment mainly rely on its first-person observation. This problem has attracted rising attention in recent years due to its wide application in autonomous driving, vacuum cleaner, and rescue robot. A navigation agent is supposed to have various intelligent skills, such as visual perceiving, mapping, planning, exploring and reasoning, etc. Building such an agent that observes, thinks, and acts is a key to real intelligence. The remarkable learning ability of deep learning methods empowered the agents to accomplish embodied visual navigation tasks. Despite this, embodied visual navigation is still in its infancy since a lot of advanced skills are required, including perceiving partially observed visual input, exploring unseen areas, memorizing and modeling seen scenarios, understanding cross-modal instructions, and adapting to a new environment, etc. Recently, embodied visual navigation has attracted rising attention of the community, and numerous works has been proposed to learn these skills. This paper attempts to establish an outline of the current works in the field of embodied visual navigation by providing a comprehensive literature survey. We summarize the benchmarks and metrics, review different methods, analysis the challenges, and highlight the state-of-the-art methods. Finally, we discuss unresolved challenges in the field of embodied visual navigation and give promising directions in pursuing future research.

研究动机与目标

• 系统性地整理和分析具身视觉导航领域中快速增长的研究成果。
• 识别具身导航中的核心挑战，包括部分观测、长时程规划以及仿真到现实的域差距。
• 对比分析不同导航任务和环境下的最先进方法。
• 突出显示如基于Transformer的模型、分层强化学习和迁移学习等有前景的研究方向，以支持现实世界部署。
• 提供统一的分类体系和基准测试概览，以指导具身人工智能的未来研究。

提出的方法

• 本文对具身视觉导航领域超过300项研究进行了结构化文献调查，按任务类型、环境和方法论路径进行分类。
• 将方法归类为无模型、基于规划、自监督和基于模型的学习范式，特别强调跨模态融合与注意力机制。
• 评估了AI2-THOR、Habitat和Gibson等基准测试，分析其任务设计、观测模态以及SPL和成功率等评估指标。
• 研究了Transformer在视觉-语言导航中实现跨模态理解的应用，结果表明其性能优于RNN。
• 分析了仿真到现实的迁移策略，包括域随机化和元强化学习，以缓解策略部署问题。
• 整合神经SLAM与分层强化学习的见解，以实现具有结构化记忆和规划能力的长时程导航。

实验结果

研究问题

• RQ1 具身视觉导航研究中使用的关键基准测试、任务和评估指标是什么？
• RQ2 不同深度学习架构（尤其是Transformer）如何提升视觉-语言导航中的跨模态理解？
• RQ3 为何当前模型在复杂指令遵循和交互式对话任务中仍显著落后于人类基线？
• RQ4 仿真到现实的域差距的主要成因是什么？如何减轻以实现现实世界部署？
• RQ5 在实现鲁棒、可泛化具身智能体方面，最具前景的未来研究方向是什么？

主要发现

• 最先进模型在视觉-语言导航任务上的SPL指标仍比人类表现低19%。
• 基于Transformer的模型通过更优融合视觉与语言输入，在跨模态导航中实现更优性能。
• 分层强化学习与神经SLAM模块使智能体能够学习结构化的世界表征，提升长时程导航能力。
• 当前智能体在自然语言理解方面表现不佳，主要由于语言多样性及缺乏先验知识，导致产生流畅但错误的动作。
• 迁移学习与元强化学习在减小仿真到现实的域差距以及实现在线自适应方面展现出潜力。
• 尽管技术不断进步，现实世界部署仍具挑战，主要源于仿真与现实之间在观测、动作空间和环境动力学方面的差异。