[论文解读] Mesh Convolution with Continuous Filters for 3D Surface Parsing

Huan Lei, Naveed Akhtar+2 more|arXiv (Cornell University)|Dec 3, 2021

3D Shape Modeling and Analysis被引用 4

一句话总结

本文介绍了 Picasso，一个兼容 PyTorch 和 TensorFlow 的库，用于使用三角形网格进行分层 3D 表面解析。它提出了基于球谐函数的连续网格卷积、GPU 加速的网格简化以及（反）池化操作，实现了高效且可扩展的特征学习。基于 Picasso 构建的深度分层网络 PicassoNet++ 在形状分析和场景分割基准测试中取得了最先进性能，mIoU 和准确率均表现优异。

ABSTRACT

Geometric feature learning for 3D surfaces is critical for many applications in computer graphics and 3D vision. However, deep learning currently lags in hierarchical modeling of 3D surfaces due to the lack of required operations and/or their efficient implementations. In this paper, we propose a series of modular operations for effective geometric feature learning from 3D triangle meshes. These operations include novel mesh convolutions, efficient mesh decimation and associated mesh (un)poolings. Our mesh convolutions exploit spherical harmonics as orthonormal bases to create continuous convolutional filters. The mesh decimation module is GPU-accelerated and able to process batched meshes on-the-fly, while the (un)pooling operations compute features for up/down-sampled meshes. We provide open-source implementation of these operations, collectively termed Picasso. Picasso supports heterogeneous mesh batching and processing. Leveraging its modular operations, we further contribute a novel hierarchical neural network for perceptual parsing of 3D surfaces, named PicassoNet++. It achieves highly competitive performance for shape analysis and scene segmentation on prominent 3D benchmarks. The code, data and trained models are available at https://github.com/EnyaHermite/Picasso.

研究动机与目标

• 为解决 3D 三角形网格上深度学习中缺乏高效且模块化的操作，特别是针对分层特征学习的问题。
• 通过引入网格专用操作（如卷积、简化和（反）池化）来实现对异构、非均匀 3D 网格的有效几何特征学习。
• 通过在深度网络中支持动态网格简化和分辨率自适应，实现大规模 3D 表面解析。
• 通过新型分层架构 PicassoNet++ 提升形状分析和场景分割任务的性能。
• 通过发布一个模块化、GPU 加速的库并支持 PyTorch 和 TensorFlow，使几何深度学习更加易用。

提出的方法

• 使用球谐函数作为正交基，将网格卷积公式化为由方位角和仰角（θ, φ）参数化的连续滤波器。
• 面到顶点的卷积使用面法向量作为角度输入，而顶点到面及面到面的卷积则使用投影的重心坐标进行角度参数化。
• GPU 加速的网格简化模块可对批量网格进行实时简化，支持对目标顶点数的控制，以支持分层特征学习。
• 基于简化过程中记录的顶点簇定义网格（反）池化操作，实现在分辨率变化时的特征传播。
• 扩展的点云卷积将球谐函数与径向距离 r 结合，实现在环境球体中的连续滤波。
• PicassoNet++ 是一个深度分层网络，利用 Picasso 的模块，减少对点云卷积的依赖，并采用改进的跳跃连接和更深的网络结构。

实验结果

研究问题

• RQ1 基于球谐函数的连续滤波器是否能实现高效且有效的 3D 表面特征学习网格卷积？
• RQ2 GPU 加速的实时网格简化是否能支持对异构 3D 网格的可扩展分层处理？
• RQ3 基于简化簇的（反）池化操作是否能在分辨率变化时保持特征保真度？
• RQ4 像 PicassoNet++ 这类以网格为中心的网络是否能优于依赖点云卷积的混合方法，在高分辨率网格分析中表现更优？
• RQ5 PicassoNet++ 是否能在形状分析和大规模场景解析基准测试中均取得最先进性能？

主要发现

• PicassoNet++ 在 ShapeNet-Part 数据集上达到 71.8% 的 mIoU，在 HUMAN 数据集上达到 91.5% 的准确率，表明其在形状分析任务中表现强劲。
• 在 PicassoNet++ 中移除双点云卷积（T²–T⁵）后，准确率仅下降 0.1%（91.5% vs. 91.4%），表明仅使用网格卷积即可实现高分辨率特征学习。
• 该网络在多种基准测试中均保持高性能，包括 ShapeNetCore 和真实世界场景表面，2D t-SNE 可视化显示形状类别聚类清晰且语义合理。
• 在人体和真实世界场景上的语义解析结果准确率高，主要错误集中在物体边界附近或由噪声标注标签引起。
• 消融研究证实，网格卷积极为有效，而点云卷积在高分辨率网格学习中仅起辅助作用，因此在 PicassoNet++ 中减少其使用是合理的。
• Picasso 库在 PyTorch 和 TensorFlow 中均实现了对异构网格的高效批量处理与计算，已开源，地址为 https://github.com/EnyaHermite/Picasso。