[论文解读] From Seeing to Moving: A Survey on Learning for Visual Indoor Navigation (VIN)

Xin Ye, Yezhou Yang|arXiv (Cornell University)|Feb 26, 2020

Multimodal Machine Learning Applications参考文献 63被引用 15

一句话总结

本综述全面概述了基于学习的视觉室内导航（VIN）方法，按目标模态（标签、图像或语言）对方法进行分类，并分析了监督学习与强化学习技术。它识别出泛化能力、数据效率和知识融合方面的关键挑战，并提出了未来研究方向，以提升真实场景中导航的鲁棒性和可迁移性。

ABSTRACT

Visual Indoor Navigation (VIN) task has drawn increasing attention from the data-driven machine learning communities especially with the recently reported success from learning-based methods. Due to the innate complexity of this task, researchers have tried approaching the problem from a variety of different angles, the full scope of which has not yet been captured within an overarching report. This survey first summarizes the representative work of learning-based approaches for the VIN task and then identifies and discusses lingering issues impeding the VIN performance, as well as motivates future research in these key areas worth exploring for the community.

研究动机与目标

• 提供对视觉室内导航（VIN）中基于学习的近期方法在多种目标模态下的整体综合分析。
• 识别VIN性能中的持久挑战，包括泛化能力、数据效率和模型鲁棒性。
• 评估在VIN研究中比较监督学习与强化学习方法的公平性与有效性。
• 探讨外部知识与结构化表征在提升导航泛化能力中的作用。
• 通过阐明VIN中的关键开放问题与有前景的研究方向，如仿真到现实的迁移与多模态推理，为未来研究提供指导。

提出的方法

• 根据目标描述模态对VIN任务进行分类：语义标签、图像和自然语言指令。
• 回顾监督学习（SL）方法，这些方法通过专家示范或最优轨迹学习，以提取可泛化的视觉与空间特征。
• 分析强化学习（RL）方法，这些方法将导航建模为马尔可夫决策过程（MDP），通过试错与稀疏奖励优化策略。
• 提出通过引入经验历史（h）并建模环境地图不确定性 P(m|o;g;h) 来提升RL的泛化能力，从而改善策略学习。
• 引入使用高层级、通用的环境表征（如Ye & Yang, 2021b）来替代特定环境的地图表示。
• 探索整合外部知识——如常识世界模型、物体关系与知识库——以指导导航决策，并提升零样本泛化能力。

实验结果

研究问题

• RQ1 在视觉室内导航任务中，如何公平地比较监督学习与强化学习方法？
• RQ2 VIN模型在未见环境中的泛化性能存在哪些关键限制？
• RQ3 外部知识在多大程度上能提升在未见室内环境中零样本或少样本导航的性能？
• RQ4 如何减少环境地图估计中的不确定性，以提升基于强化学习的VIN策略学习能力？
• RQ5 智能体的经验历史在提升导航策略泛化能力与样本效率方面发挥何种作用？

主要发现

• 监督学习方法通常比强化学习方法泛化能力更强，因其可访问最优轨迹，但需要专家示范。
• 基于强化学习的VIN模型在未见环境中普遍存在泛化能力差与样本效率低的问题。
• 将智能体的经验历史（h）引入策略网络可减少环境地图估计中的不确定性，从而提升泛化能力。
• 与仅基于 P(m|o;g) 相比，建模 P(m|o;g;h) 的概率分布能带来更准确、更鲁棒的策略学习。
• 高层级、通用的环境表征（如来自知识图谱或场景图）在零样本迁移设置中优于低层级、特定环境的地图表示。
• 整合外部知识——如物体关系、房间布局与常识先验——能显著提升导航效率与泛化能力，尤其在未见环境中表现更优。