[论文解读] Convolutional Occupancy Networks

Songyou Peng, Michael Niemeyer+3 more|arXiv (Cornell University)|Mar 10, 2020

3D Shape Modeling and Analysis参考文献 57被引用 13

一句话总结

本文提出卷积占据网络（Convolutional Occupancy Networks），一种新颖的隐式3D重建方法，通过结合卷积编码器与隐式占据解码器，实现可扩展、平移等变且细粒度的复杂物体与大型室内场景重建。通过利用3D卷积与层次化特征学习，该模型在合成数据集与真实世界数据集（包括Matterport3D与ScanNet）上均达到最先进性能，同时在未见场景与物体类别上表现出良好泛化能力。

ABSTRACT

Recently, implicit neural representations have gained popularity for learning-based 3D reconstruction. While demonstrating promising results, most implicit approaches are limited to comparably simple geometry of single objects and do not scale to more complicated or large-scale scenes. The key limiting factor of implicit methods is their simple fully-connected network architecture which does not allow for integrating local information in the observations or incorporating inductive biases such as translational equivariance. In this paper, we propose Convolutional Occupancy Networks, a more flexible implicit representation for detailed reconstruction of objects and 3D scenes. By combining convolutional encoders with implicit occupancy decoders, our model incorporates inductive biases, enabling structured reasoning in 3D space. We investigate the effectiveness of the proposed representation by reconstructing complex geometry from noisy point clouds and low-resolution voxel representations. We empirically find that our method enables the fine-grained implicit 3D reconstruction of single objects, scales to large indoor scenes, and generalizes well from synthetic to real data.

研究动机与目标

• 为解决现有隐式3D重建方法的局限性，这些方法受限于全连接结构，仅适用于简单几何形状与单个物体。
• 通过引入平移等变性与局部特征融合等归纳偏置，实现复杂室内场景的可扩展3D重建。
• 提升从合成数据到真实世界数据的泛化能力，包括新物体类别与房间布局。
• 在保持计算可处理性的前提下，实现高保真度的细粒度几何重建。

提出的方法

• 模型使用3D卷积编码器处理输入数据（点云或体素网格），生成编码局部与全局上下文的层次化特征图。
• 3D占据解码器通过三线性插值查询学习到的特征图，预测任意3D位置的占据状态。
• 该表示具有平移等变性，因为卷积操作在平移下保持空间结构不变。
• 该方法支持2D与3D特征表示，其中3D卷积在真实世界数据上表现更优。
• 采用全卷积、滑动窗口推理策略，可实现多楼层建筑等大规模场景的重建。
• 模型通过在稀疏点云或体素监督上使用二元交叉熵损失，端到端训练以预测占据函数。

实验结果

研究问题

• RQ1 卷积操作是否能超越全连接网络，在隐式3D重建中提升表达能力与可扩展性？
• RQ2 引入平移等变性如何影响重建质量与真实世界场景的泛化能力？
• RQ3 统一架构能否有效处理单物体与大规模场景重建？
• RQ4 在内存效率、准确率及对噪声与领域偏移的鲁棒性方面，2D与3D特征表示有何差异？

主要发现

• 在ScanNet v2数据集上，3D体素变体模型的Chamfer-L1损失为0.077，F-Score为0.886，优于所有基线模型（包括修剪后的SPSR）。
• 在$64^3$分辨率下，3D模型在ScanNet上的F-Score达到0.886，展现出对噪声与领域偏移的强鲁棒性。
• 在Matterport3D数据集上，模型成功重建了一栋两层楼建筑，展现出精细的几何细节与一致的房间布局，尽管存在与训练数据显著的领域偏移。
• 基于2D平面的变体在内存效率方面更优，且在合成数据上表现良好；而3D体素变体在真实世界扫描中泛化能力更强。
• 该模型在合成与真实世界基准上均达到最先进性能，且无需额外超参数（如修剪）。
• 定性结果表明，该模型生成平滑、密实的重建结果，无网格闭合伪影，而SPSR则需仔细后处理。