[论文解读] AutoNeRF: Training Implicit Scene Representations with Autonomous Agents

Pierre Marza, Laëtitia Matignon+4 more|arXiv (Cornell University)|Apr 21, 2023

Robot Manipulation and Learning被引用 5

一句话总结

AutoNeRF 提出了一种基于强化学习的模块化智能体，可自主探索 3D 环境，无需人工干预即可收集用于训练神经辐射场（NeRF）的数据。该方法在下游机器人任务（如 3D 场景重建、规划和位姿精炼）中实现了最先进性能，仅通过一次探索 episode 即可完成，且模块化策略优于基于前沿探索和端到端强化学习的基线方法。

ABSTRACT

Implicit representations such as Neural Radiance Fields (NeRF) have been shown to be very effective at novel view synthesis. However, these models typically require manual and careful human data collection for training. In this paper, we present AutoNeRF, a method to collect data required to train NeRFs using autonomous embodied agents. Our method allows an agent to explore an unseen environment efficiently and use the experience to build an implicit map representation autonomously. We compare the impact of different exploration strategies including handcrafted frontier-based exploration, end-to-end and modular approaches composed of trained high-level planners and classical low-level path followers. We train these models with different reward functions tailored to this problem and evaluate the quality of the learned representations on four different downstream tasks: classical viewpoint rendering, map reconstruction, planning, and pose refinement. Empirical results show that NeRFs can be trained on actively collected data using just a single episode of experience in an unseen environment, and can be used for several downstream robotic tasks, and that modular trained exploration models outperform other classical and end-to-end baselines. Finally, we show that AutoNeRF can reconstruct large-scale scenes, and is thus a useful tool to perform scene-specific adaptation as the produced 3D environment models can be loaded into a simulator to fine-tune a policy of interest.

研究动机与目标

• 实现通过具身智能体在未见过的 3D 环境中自主收集数据，用于训练 NeRF。
• 不仅评估 NeRF 的渲染质量，还评估其在机器人相关下游任务（如规划、地图重建和位姿精炼）中的表现。
• 比较不同探索策略（基于前沿、端到端强化学习和模块化强化学习）在 NeRF 训练质量方面的有效性。
• 研究强化学习中的奖励设计如何影响所学习的隐式表征在下游任务中的实用性。
• 证明单次自主探索即可生成高质量、场景特定的 3D 模型，可用于仿真环境中的策略微调。

提出的方法

• 训练一种由高层规划器和低层控制器组成的模块化强化学习策略，以自主探索 3D 环境。
• 使用多种奖励函数——覆盖度、新颖性、重建质量、避障和视角多样性——引导探索过程，以优化 NeRF 训练数据的质量。
• 利用智能体收集的数据训练 NeRF 模型，从 RGB 观测中生成连续且可微分的 3D 场景表征。
• 通过快速行进法和几何推理，从 NeRF 生成鸟瞰图（BEV）地图和语义地图，用于下游规划与地图构建任务。
• 应用视觉伺服与位姿精炼技术，利用 NeRF 渲染输出优化相机视角。
• 使用 Mask R-CNN 从 RGB 观测中估计语义掩码，实现无需真实标注的端到端语义 NeRF 训练。

实验结果

研究问题

• RQ1 强化学习智能体是否能在未见过的环境中，通过单次探索 episode 自主收集足够数据以训练 NeRF？
• RQ2 在多种机器人任务中，基于前沿的探索、端到端强化学习与模块化强化学习策略在下游 NeRF 质量方面如何比较？
• RQ3 探索过程中使用哪种奖励函数能在基于 NeRF 的任务（如 3D 重建、规划和渲染）中实现最佳性能？
• RQ4 从自主收集数据训练的 NeRF 在多大程度上可支持仿真环境中场景特定策略的适应与微调？
• RQ5 与真实仿真标签相比，使用来自 Mask R-CNN 的噪声语义信号如何影响基于 NeRF 的语义表征质量？

主要发现

• 模块化强化学习策略在所有下游任务中均优于基于前沿的探索和端到端强化学习基线方法，在 PointGoal 导航任务中达到 39.5% 的成功率，ObjectGoal 任务中 SPL 达 16.0%。
• Ours (view.) 策略（奖励视角多样性）整体表现最佳，在 PointGoal 任务中实现 39.0% 的成功率和 38.6% 的 SPL。
• 通过单次自主探索收集的数据训练的 NeRF 实现了高质量的 3D 场景重建，渲染任务中语义 mIoU 达 83.2%，各类别准确率达 91.8%。
• 利用 NeRF 渲染视图进行位姿精炼，可将平移误差降低至 0.00734m，旋转误差降低至 0.292°，优于基线方法。
• 即使使用来自 Mask R-CNN 的噪声语义信号，NeRF 在地图对比中仍实现 99.8% 的语义准确率，在 ObjectGoal 规划任务中达到 15.8% 的成功率，显示出对领域偏移的鲁棒性。
• 该方法成功重建了大规模的房屋尺度场景，实现了无需人工标注数据的仿真环境中场景特定策略的微调。