[论文解读] 3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction

Christopher Choy, Danfei Xu+3 more|arXiv (Cornell University)|Apr 2, 2016

Robotics and Sensor-Based Localization参考文献 37被引用 14

一句话总结

3D-R2N2 提出了一种统一的循环神经网络框架，用于使用端到端学习从单视角或多视角图像进行3D物体重建。它采用带有GRU单元的3D-RNN，从2D图像输入中迭代优化3D体素预测，在PASCAL VOC 2012、PASCAL 3D+和ShapeNet数据集上实现了最先进性能，且在不同视角类型下表现出一致的泛化能力。

ABSTRACT

Inspired by the recent success of methods that employ shape priors to achieve robust 3D reconstructions, we propose a novel recurrent neural network architecture that we call the 3D Recurrent Reconstruction Neural Network (3D-R2N2). The network learns a mapping from images of objects to their underlying 3D shapes from a large collection of synthetic data. Our network takes in one or more images of an object instance from arbitrary viewpoints and outputs a reconstruction of the object in the form of a 3D occupancy grid. Unlike most of the previous works, our network does not require any image annotations or object class labels for training or testing. Our extensive experimental analysis shows that our reconstruction framework i) outperforms the state-of-the-art methods for single view reconstruction, and ii) enables the 3D reconstruction of objects in situations when traditional SFM/SLAM methods fail (because of lack of texture and/or wide baseline).

研究动机与目标

• 解决使用单一深度学习框架从单视角或多视角图像中统一进行3D重建的挑战。
• 实现从2D图像进行3D形状预测的端到端学习，而无需对中间3D表示施加显式监督。
• 提高在不同物体类别和视角配置下的重建准确率与泛化能力。
• 探究循环记忆在逐次观察新视角时对3D预测进行优化的作用。
• 在不同数据集和输入类型（单视角/多视角）下，展示重建质量的鲁棒性与一致性。

提出的方法

• 提出一种带有门控循环单元（GRUs）的3D-RNN架构，用于处理3D体素网格并迭代优化预测。
• 采用循环编码器-解码器结构，其中每个GRU单元基于当前和先前视角的2D图像特征更新3D体素网格。
• 将多视角图像按顺序整合到3D-RNN的隐藏状态中，实现在新观测到达时动态优化3D预测。
• 使用可微分的3D反卷积解码器，从潜在表示生成高分辨率3D体素输出。
• 采用基于预测体素网格与真实体素网格之间二元交叉熵的3D重建损失。
• 分析GRU中的输入门激活，可视化在优化过程中注意力如何分配，特别是在新视角揭示缺失或错误部分时。

实验结果

研究问题

• RQ1 一个单一的深度学习模型能否有效利用共享架构同时处理单视角和多视角3D重建？
• RQ2 随着更多视角的加入，循环3D-RNN机制如何提升3D形状预测的准确性？
• RQ3 GRU中的输入门激活在多大程度上反映了对新视觉信息的有意义注意力，尤其是在3D优化过程中？
• RQ4 该模型在PASCAL VOC 2012、PASCAL 3D+和ShapeNet等多样化数据集上的泛化能力如何？
• RQ5 视角的顺序整合对3D重建质量与一致性的影响力如何？

主要发现

• 该模型在PASCAL VOC 2012和PASCAL 3D+数据集上的单视角3D重建任务中达到最先进性能，优于先前方法（包括Kar等人提出的模型）。
• 在Online Product数据集上的多视角重建生成了高保真度的3D形状，细节和结构准确性一致。
• 输入门激活分析表明，当新视角暴露出预测错误时，网络会动态开启门控，表明其能有效关注新的视觉证据。
• 该模型在ShapeNet测试集上表现出良好泛化能力，即使在视角有限的情况下也能生成连贯且细节丰富的3D重建。
• 视角的顺序整合导致3D预测的逐步优化，随着处理的视角增多，重建质量显著提升。
• 带有GRU单元的3D-RNN架构能够稳定且有效地学习跨多样化物体类别和视角配置的3D形状先验。