[论文解读] Adaptive O-CNN: A Patch-based Deep Representation of 3D Shapes

Peng‐Shuai Wang, Chunyu Sun+2 more|arXiv (Cornell University)|Sep 21, 2018

3D Shape Modeling and Analysis参考文献 51被引用 137

一句话总结

Adaptive O-CNN 编码三维形状使用基于补丁的自适应八叉树，使高分辨率三维形状编码/解码更高效，并在分类、自编码、单图形状预测、完成等任务上相较于此前的八叉树/CNN 方法实现更好的形状生成，具备内存和时间的节省，且保持竞争力的精度。

ABSTRACT

We present an Adaptive Octree-based Convolutional Neural Network (Adaptive O-CNN) for efficient 3D shape encoding and decoding. Different from volumetric-based or octree-based CNN methods that represent a 3D shape with voxels in the same resolution, our method represents a 3D shape adaptively with octants at different levels and models the 3D shape within each octant with a planar patch. Based on this adaptive patch-based representation, we propose an Adaptive O-CNN encoder and decoder for encoding and decoding 3D shapes. The Adaptive O-CNN encoder takes the planar patch normal and displacement as input and performs 3D convolutions only at the octants at each level, while the Adaptive O-CNN decoder infers the shape occupancy and subdivision status of octants at each level and estimates the best plane normal and displacement for each leaf octant. As a general framework for 3D shape analysis and generation, the Adaptive O-CNN not only reduces the memory and computational cost, but also offers better shape generation capability than the existing 3D-CNN approaches. We validate Adaptive O-CNN in terms of efficiency and effectiveness on different shape analysis and generation tasks, including shape classification, 3D autoencoding, shape prediction from a single image, and shape completion for noisy and incomplete point clouds.

研究动机与目标

• 激发并实现高效、高保真度的三维形状表示与生成，超越均匀分辨率体素或固定八叉树方法。
• 开发一个编码器，在自适应八叉树的各层处理中平面补丁法向量和位移。
• 开发一个解码器，预测八分域占用状态并学习局部平面补丁以重建形状。
• 展示在多种下游任务上的高效性与有效性，包括分类、自编码和单图像形状预测。
• 表明自适应基于补丁的八叉树在较低内存和计算量下也能实现高质量形状，相较于可比方法。

提出的方法

• 引入一种基于补丁的自适应八叉树表示，用于三维形状，其中每个非空叶八分域存储一个平面补丁。
• 定义基于豪瑟夫距离的补丁近似误差，用以引导八叉树分割并确保界定的近似质量。
• 将受 O-CNN 启发的编码器扩展为在自适应八叉树上工作，将局部平面参数的输入纳入多层CNN处理框架。
• 设计一个三维解码器：(i) 预测八分域状态（空、表面良好近似、表面较差近似）以及 (ii) 回归叶八分域的平面补丁参数，并通过反卷积细化后代。
• 采用联合损失，包括结构损失（对八分域状态的交叉熵）和补丁损失（平面参数回归，带有显式的 d* 约束）。
• 适配现有八叉树 CNN 基础设施，以支持从下到上的叶级特征聚合和从上到下的基于补丁的解码，从而实现效率提升。

实验结果

研究问题

• RQ1 基于补丁的自适应八叉树表示是否能在相对于均匀体素或固定深度八叉树的情况下，以更少的内存和计算量产生高质量的三维形状？
• RQ2 在叶八分域中引入平面补丁参数是否能提升重建形状的表面保真度和细节？
• RQ3 与最先进方法相比，Adaptive O-CNN 在形状分类、三维自编码和单图像形状预测任务的表现如何？
• RQ4 当八叉树深度和补丁保真度变化时，准确度与效率之间有哪些权衡？
• RQ5 提出的解码器能否可靠推断八分域占用和自适应分割，以生成密封且高质量的表面？

主要发现

• Adaptive O-CNN 在不同分辨率下的分类精度与 O-CNN 相当，同时在内存和计算成本上显著更低，尤其在高分辨率时（例如 2563 相对于 1283 输入的内存和时间节省）。
• 在 ModelNet40 分类任务上，Adaptive O-CNN 与最先进方法竞争力强，表现与 O-CNN 相似，在其他强基线处趋于平稳。
• 在 ShapeNet Core v2 的三维自编码中，Adaptive O-CNN 在平均上达到对比方法（AtlasNet 变体和 PSG）中最好的 Chamfer 距离表现，表明在许多类别上具有更高的表面保真度和体积结构重建。
• 解码器的结构与补丁联合损失有助于更好地处理薄部件并保持体积结构，减少了补丁基或纯 Chamfer 距离驱动方法所见的失真。
• 该方法演示了从单幅图像进行形状预测和对噪声/不完整点云的形状完成，验证了基于补丁的自适应八叉树作为通用的三维形状分析与生成框架。
• 相比于 prior octree-based 方法，基于补丁的自适应在不牺牲定性或定量形状质量的前提下，获得了更高的稀疏性和效率。