[论文解读] Deep Octree-based CNNs with Output-Guided Skip Connections for 3D Shape and Scene Completion

Peng‐Shuai Wang, Yang Liu+1 more|arXiv (Cornell University)|Jun 6, 2020

3D Shape Modeling and Analysis参考文献 45被引用 4

一句话总结

该论文提出了一种基于深度八叉树的CNN，采用输出引导的跳跃连接，用于3D形状与场景补全，通过结合高效的八叉树表示、极深的网络（最高达70层）以及保留输入几何结构的跳跃连接，实现了最先进性能。该方法在基准数据集上优于先前方法，表现出更高的准确率和对噪声及不完整输入的鲁棒性。

ABSTRACT

Acquiring complete and clean 3D shape and scene data is challenging due to geometric occlusion and insufficient views during 3D capturing. We present a simple yet effective deep learning approach for completing the input noisy and incomplete shapes or scenes. Our network is built upon the octree-based CNNs (O-CNN) with U-Net like structures, which enjoys high computational and memory efficiency and supports to construct a very deep network structure for 3D CNNs. A novel output-guided skip-connection is introduced to the network structure for better preserving the input geometry and learning geometry prior from data effectively. We show that with these simple adaptions -- output-guided skip-connection and deeper O-CNN (up to 70 layers), our network achieves state-of-the-art results in 3D shape completion and semantic scene computation.

研究动机与目标

• 解决由于遮挡和有限捕获视角导致的3D形状与场景不完整、含噪声的问题。
• 克服现有3D CNN存在的高内存与计算成本问题，限制网络深度。
• 通过设计新型跳跃连接机制，提升3D补全中几何结构保持与结构先验学习能力。
• 通过简单而有效的深层网络架构，在3D形状与语义场景补全任务中实现最先进性能。
• 实现端到端、单次前向传播的高质量补全，避免昂贵的优化或隐式函数精炼过程。

提出的方法

• 采用基于八叉树的CNN框架（O-CNN），实现高效的3D表示，提升计算与内存效率。
• 采用类似U-Net的架构，包含两个深度残差网络：编码器用于特征提取，解码器用于形状重建。
• 提出输出引导的跳跃连接，将解码器中生成的节点与输入八叉树中对应的已有节点相连，而非与编码器相连。
• 跳跃连接基于输出结构进行条件化，通过保留输入特征，确保几何保真度与抗噪鲁棒性。
• 通过残差块构建极深网络（最高达70层），利用深度提升特征学习能力，同时避免计算量爆炸。
• 采用标准训练策略，包括SGD、权重衰减与学习率衰减，以Chamfer距离作为主要损失函数进行优化。

实验结果

研究问题

• RQ1 基于新型跳跃连接的深度八叉树CNN是否能在准确率与鲁棒性方面超越现有3D补全方法？
• RQ2 输出引导跳跃连接与标准跳跃连接相比，在保持输入几何结构与抗噪能力方面表现如何？
• RQ3 在八叉树表示下，网络深度（超过20–30层）的提升在多大程度上改善了3D形状与场景补全性能？
• RQ4 所提方法是否能泛化至标准补全之外的任务，例如从中尺度骨架进行形状重建？
• RQ5 该方法是否能在单次前向传播中实现优于隐式函数或自编码器方法的性能，且无需迭代优化？

主要发现

• 所提方法在3D形状补全基准测试中达到最先进性能，优于包括3DEPN与SGCNet在内的现有方法，且在相似深度与参数量下表现更优。
• 消融实验表明，移除完整跳跃连接（l₂与l₃）后性能提升，表明输出引导跳跃连接比标准U-Net跳跃连接更有效。
• 在中尺度骨架重建的椅子与平面数据集上，中位数Chamfer距离分别为1.04与5.55，优于P2P-Net（1.66与6.06）。
• 输出点云分布规则，且包含预测法向，可通过泊松表面重建实现高质量网格重建——而P2P-Net的输出则为散乱点云。
• 该方法可实现直接、单次前向传播补全，无需迭代优化，而DeepSDF需对每种形状进行昂贵的潜在码优化。
• 网络在高达70层的深度下仍保持高性能，证明在使用高效八叉树表示时，深层架构在3D CNN中是可行且有益的。