[论文解读] DiffusionNet: Discretization Agnostic Learning on Surfaces

Nicholas Sharp, Souhaib Attaiki+2 more|arXiv (Cornell University)|Dec 1, 2020

3D Shape Modeling and Analysis被引用 8

一句话总结

DiffusionNet 提出了一种针对三维曲面的、与离散化无关的深度学习框架，通过可学习的扩散层实现对三角网格和点云的鲁棒、分辨率无关的特征传播。通过将扩散支持优化为连续参数，并结合逐点MLP与空间梯度特征，该方法在表面分类、分割和非刚性对应任务中实现了最先进性能，且无需固定邻域大小。

ABSTRACT

We introduce a new general-purpose approach to deep learning on 3D surfaces, based on the insight that a simple diffusion layer is highly effective for spatial communication. The resulting networks are automatically robust to changes in resolution and sampling of a surface -- a basic property which is crucial for practical applications. Our networks can be discretized on various geometric representations such as triangle meshes or point clouds, and can even be trained on one representation then applied to another. We optimize the spatial support of diffusion as a continuous network parameter ranging from purely local to totally global, removing the burden of manually choosing neighborhood sizes. The only other ingredients in the method are a multi-layer perceptron applied independently at each point, and spatial gradient features to support directional filters. The resulting networks are simple, robust, and efficient. Here, we focus primarily on triangle mesh surfaces, and demonstrate state-of-the-art results for a variety of tasks including surface classification, segmentation, and non-rigid correspondence.

研究动机与目标

• 开发一种对网格分辨率和采样密度变化具有鲁棒性的三维曲面深度学习框架。
• 通过学习消息传递的空间支持，消除图神经网络中邻域大小的手动选择需求。
• 实现在一种几何表示（如三角网格）上训练，而在另一种（如点云）上推理而无需重新训练。
• 通过有效的空间通信提升表面分析任务（如分类、分割和非刚性对应）的性能。
• 通过将扩散过程作为通用归纳偏置，统一曲面上的几何深度学习。

提出的方法

• 该方法采用可学习的扩散层作为连续空间滤波器，其扩散半径作为可微参数进行优化，范围从局部到全局。
• 通过在点特征上应用扩散算子实现特征传播，其中核由端到端学习获得，而非由拓扑固定。
• 每个点独立地对其特征应用多层感知机（MLP），随后通过邻居的扩散聚合进行信息聚合。
• 引入空间梯度特征以支持方向性滤波并提升几何感知能力。
• 该架构在三角网格上端到端训练，可直接泛化至点云而无需重新训练。
• 扩散过程被形式化为图卷积的连续松弛，从而实现在不同曲面表示之间的离散化无关学习。

实验结果

研究问题

• RQ1 可学习的扩散层是否能够替代几何深度学习中手工设计的邻域结构？
• RQ2 在一种表面表示上训练的单一网络，能在多大程度上泛化到另一种表示（如从网格到点云）？
• RQ3 基于扩散的网络在标准曲面学习基准上的性能与现有GNN相比如何？
• RQ4 端到端优化扩散支持是否能提升对采样和分辨率变化的鲁棒性？
• RQ5 引入空间梯度特征对几何深度学习中方向性特征学习的影响是什么？

主要发现

• DiffusionNet 在 ShapeNet 和 SURREAL 等标准基准上，在表面分类、分割和非刚性对应任务中均达到最先进性能。
• 该方法对网格分辨率和采样密度的变化具有鲁棒性，在不同离散化下均保持一致的性能表现。
• 网络能有效从三角网格训练泛化到点云推理，展现出离散化无关的学习能力。
• 学习到的扩散半径在训练过程中能有效自适应，自动平衡局部与全局感受野，无需人工调参。
• 引入空间梯度特征可提升对方向敏感任务（如非刚性对应）的性能。
• 该架构以极简的架构复杂度实现强大性能，仅依赖扩散层、MLP和梯度特征。