[论文解读] A Simple Approach for Visual Rearrangement: 3D Mapping and Semantic Search
本文提出一种基于体素语义地图与语义搜索的模块化、非端到端视觉房间重排方法，用于定位和重排物体。在AI2-THOR基准测试中，该方法取得了16.56%的成功率，较之前最先进方法高出14.72个百分点，且仅需最先进强化学习方法所需环境样本的2.7%。
Physically rearranging objects is an important capability for embodied agents. Visual room rearrangement evaluates an agent's ability to rearrange objects in a room to a desired goal based solely on visual input. We propose a simple yet effective method for this problem: (1) search for and map which objects need to be rearranged, and (2) rearrange each object until the task is complete. Our approach consists of an off-the-shelf semantic segmentation model, voxel-based semantic map, and semantic search policy to efficiently find objects that need to be rearranged. On the AI2-THOR Rearrangement Challenge, our method improves on current state-of-the-art end-to-end reinforcement learning-based methods that learn visual rearrangement policies from 0.53% correct rearrangement to 16.56%, using only 2.7% as many samples from the environment.
研究动机与目标
- 解决在复杂、动态的3D环境中，具身智能体需在组合爆炸的物体配置下实现泛化的问题。
- 克服端到端强化学习方法因需要海量经验而难以泛化、且可能缺乏稳健场景理解的局限性。
- 通过将感知（物体检测与建图）与决策（重排规划）解耦，提升泛化能力与样本效率。
- 证明精确的3D语义场景表征是实现高效视觉重排的关键前提。
- 通过简单、模块化且高效的流水线，在AI2-THOR重排挑战赛中建立新的最先进水平。
提出的方法
- 使用现成的语义分割模型，从环境的RGB观测中检测物体。
- 通过在导航过程中融合多个视角的检测结果，逐步构建体素化的3D语义地图。
- 采用语义搜索策略，通过查询语义地图高效定位需要重排的物体。
- 执行基于当前地图状态的程序化重排策略，规划并执行抓取与放置动作。
- 在地图构建完成后完全离线运行，避免在线强化学习，显著降低样本复杂度。
- 使用导航预算引导探索与地图扩展，性能在不同探索限制下进行评估。
实验结果
研究问题
- RQ1采用显式3D语义场景表征的模块化方法是否能在视觉重排任务中超越端到端强化学习？
- RQ2感知模型的准确性在动态3D环境中如何影响整体重排性能？
- RQ3探索预算在多大程度上影响基于语义映射的物体重排成功率？
- RQ4物体尺寸、与目标的距离以及环境杂乱程度如何影响所提方法的可靠性？
- RQ5当提供完美语义地图时，重排系统的性能上限是多少？
主要发现
- 所提方法在AI2-THOR重排挑战赛中取得16.56%的成功率，较之前最先进方法高出14.72个百分点的绝对提升。
- 该方法仅需端到端强化学习基线方法2.7%的环境样本，展现出极高的样本效率。
- 在不同探索预算下性能保持稳健，即使在低导航预算（如1–15个目标）下仍能获得一致提升。
- 位于目标0.326米以内的物体有超过30%的时间被正确重排，而距离目标超过4.157米的物体成功率为不足20%。
- 该方法在小物体与大物体上表现相当，表明对物体尺寸变化具有鲁棒性。
- 当提供完美语义地图时，方法的成功率达到38.33%，表明感知模型的进一步改进可带来更大性能增益。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。