[论文解读] Active Object Reconstruction Using a Guided View Planner

Xin Yang, Yuanbo Wang+5 more|arXiv (Cornell University)|May 8, 2018

Robotics and Sensor-Based Localization参考文献 11被引用 7

一句话总结

本文提出了一种统一的主动物体重建框架，通过引导式视图规划器和循环编码器-解码器网络，联合优化视图规划与3D重建。通过结合3D体素和2D投影监督，模型能够预测具有信息量且具有判别性的相机视角，并随着视角数量的增加逐步提高重建精度，在IoU和信息增益方面优于随机和最远视角基线方法。

ABSTRACT

Inspired by the recent advance of image-based object reconstruction using deep learning, we present an active reconstruction model using a guided view planner. We aim to reconstruct a 3D model using images observed from a planned sequence of informative and discriminative views. But where are such informative and discriminative views around an object? To address this we propose a unified model for view planning and object reconstruction, which is utilized to learn a guided information acquisition model and to aggregate information from a sequence of images for reconstruction. Experiments show that our model (1) increases our reconstruction accuracy with an increasing number of views (2) and generally predicts a more informative sequence of views for object reconstruction compared to other alternative methods.

研究动机与目标

• 解决单视角输入因遮挡和信息有限而难以选择具有信息量且具有判别性的视角进行3D物体重建的挑战。
• 将视图规划与3D重建统一于单一学习框架中，通过顺序的主动信息获取提升重建质量。
• 开发一种视图规划器，利用3D体素一致性与2D投影监督，指导最优相机视角的选择。
• 证明所提方法在重建精度与信息增益方面优于随机与最远视角基线方法。
• 验证循环架构在聚合多视角特征以实现密集3D预测方面的优越性。

提出的方法

• 使用策略网络训练引导式视图规划器，基于3D体素与2D投影一致性，预测物体周围视图圆上下一个最优相机方位角。
• 循环编码器-解码器网络采用循环2D编码器提取序列图像特征，以及循环3D解码器从特征序列中逐步重建3D体素。
• 通过体素损失（$\lambda_v$）、投影损失（$\lambda_p$）和掩码损失（$\lambda_m$）施加联合监督，确保预测3D形状与其2D投影之间的一致性。
• 视图规划器通过基于重建质量与体素-投影一致性的奖励信号进行训练，鼓励选择能最大化信息增益的视角。
• 模型在ShapeNet椅子类别上进行训练与评估，使用与PTN（Yan et al., 2016）相同的图像数据划分，超参设置为$\lambda_v = 10$，$\lambda_p = 10$，$\lambda_m = 0.04$。
• 消融实验比较了四种网络架构：R2E-R3D（所提方法）、2E-R-3D、R2E-3D与2E-R3D，并在MSE损失与IoU上进行定量评估。

实验结果

研究问题

• RQ1 统一学习框架能否联合优化视图规划与3D重建，从而提升重建精度？
• RQ2 来自3D体素与2D投影的联合监督如何提升视角选择与特征聚合的质量？
• RQ3 所提引导式视图规划器在信息增益与重建保真度方面是否显著优于随机与最远视角基线？
• RQ4 编码器与解码器中循环架构对多视角特征聚合与3D重建性能有何影响？
• RQ5 视角数量如何影响重建精度？该模型在视角数量增加时是否具备良好的可扩展性？

主要发现

• 在使用5个视角时，所提R2E-R3D模型在所有对比架构中，于训练集上达到最低的MSE损失（0.012）与最高的IoU（0.798）。
• 在测试集上，R2E-R3D模型取得0.605的IoU，优于所有其他架构，包括2E-R-3D（0.571）与R2E-3D（0.542）。
• 随着视角数量的增加，模型的重建精度持续提升，IoU随视角数量增加而表现出一致且可测量的改善。
• 与随机和最远视角基线相比，所提方法在相同视角数量下实现了显著更高的IoU值与更低的香农熵（表明信息增益更大）。
• 定性结果表明，该模型在重建复杂形状（如具有高变化性的台灯）方面优于3D-R2N2，尤其在处理遮挡与细节方面表现更优。
• 消融实验确认，编码器与解码器中均采用循环设计至关重要，R2E-R3D配置在所有指标上均表现最佳。