[论文解读] Convolutional Neural Networks on non-uniform geometrical signals using Euclidean spectral transformation

Chiyu Max Jiang, Dequan Wang+3 more|arXiv (Cornell University)|Jan 7, 2019

3D Shape Modeling and Analysis参考文献 51被引用 8

一句话总结

该论文提出了一种基于非均匀傅里叶变换（NUFT）的新颖谱表示方法，使卷积神经网络（CNNs）能够直接在欧几里得谱域中处理非均匀几何信号（如点云、网格和加权曲面）。通过在不引入空间混叠的情况下，对信号进行解析采样以获得均匀谱网格，该方法保留了最大形状信息，支持使用标准CNN主干网络，并在3D形状检索和点云到曲面重建任务中实现了最先进性能。

ABSTRACT

Convolutional Neural Networks (CNN) have been successful in processing data signals that are uniformly sampled in the spatial domain (e.g., images). However, most data signals do not natively exist on a grid, and in the process of being sampled onto a uniform physical grid suffer significant aliasing error and information loss. Moreover, signals can exist in different topological structures as, for example, points, lines, surfaces and volumes. It has been challenging to analyze signals with mixed topologies (for example, point cloud with surface mesh). To this end, we develop mathematical formulations for Non-Uniform Fourier Transforms (NUFT) to directly, and optimally, sample nonuniform data signals of different topologies defined on a simplex mesh into the spectral domain with no spatial sampling error. The spectral transform is performed in the Euclidean space, which removes the translation ambiguity from works on the graph spectrum. Our representation has four distinct advantages: (1) the process causes no spatial sampling error during the initial sampling, (2) the generality of this approach provides a unified framework for using CNNs to analyze signals of mixed topologies, (3) it allows us to leverage state-of-the-art backbone CNN architectures for effective learning without having to design a particular architecture for a particular data structure in an ad-hoc fashion, and (4) the representation allows weighted meshes where each element has a different weight (i.e., texture) indicating local properties. We achieve results on par with the state-of-the-art for the 3D shape retrieval task, and a new state-of-the-art for the point cloud to surface reconstruction task.

研究动机与目标

• 解决将CNN应用于非均匀、混合拓扑几何信号（如点云和网格）的挑战。
• 克服体素、多视角或SDF方法中因均匀采样导致的表示误差，避免混叠和信息损失。
• 开发一个通用框架，通过欧氏空间中的谱变换统一处理不同拓扑结构（点、线、面、体）的信号。
• 使强大的、预训练的笛卡尔CNN主干网络（如ResNet、DLA）可直接应用于任意几何信号，而无需重新设计网络架构。
• 支持加权网格，其中每个元素携带纹理或标量属性，从而实现更丰富的信号表示。

提出的方法

• 为定义在单纯形网格（如三角形或四面体网格）上的信号提出非均匀傅里叶变换（NUFT），实现无空间采样误差的精确谱采样。
• 在欧氏空间中执行谱变换，避免图谱方法固有的坐标变换模糊性，从而支持直接使用标准CNN。
• 通过解析积分计算非均匀网格上信号的傅里叶变换，确保精度并消除基于网格采样的混叠效应。
• 将输入信号（如点云）和输出信号（如曲面）表示为$128^3$谱网格中的NUFT表示，支持3D图像到图像的转换。
• 利用标准CNN架构（如U-Net）进行端到端学习，通过预测与真实NUFT曲面表示之间的$L_2$损失进行训练。
• 通过移动立方体算法和网格收缩后处理步骤，优化重建曲面，提升几何保真度。

实验结果

研究问题

• RQ1 能否开发一种谱表示方法，使CNN在处理非均匀几何信号时不会引入空间采样误差？
• RQ2 如何设计一个统一框架，通过单一谱变换处理混合拓扑信号（如点、面、体）？
• RQ3 通过新型谱表示，标准预训练CNN主干网络在3D几何深度学习中可被多大程度有效复用？
• RQ4 所提方法在点云到曲面重建等挑战性任务中是否能实现更优性能，特别是在输入存在噪声的情况下？
• RQ5 与传统的体素、SDF和多视角表示相比，基于NUFT的表示在信息保留和重建精度方面表现如何？

主要发现

• 在非预训练模型中，NUFT表示在3D形状检索任务中达到最先进性能，在ShapeNetCore数据集上优于现有方法。
• 在点云到曲面重建任务中，该方法在有噪声输入下取得0.144的Chamfer距离，在无噪声输入下为0.145，优于Deep Marching Cubes（0.218）和泊松曲面重建（0.198–0.352）。
• 该方法在重建精度（0.125）和完整度（0.165）方面显著优于PSR-8（0.196和0.200）和DMC（0.182和0.254）。
• 通过受控消融实验验证，NUFT表示比二值体素和SDF表示保留了更多信息。
• 模型对输入噪声具有鲁棒性，在32分辨率下，即使输入添加高斯噪声（σ = 0.15体素长度），仍能保持高重建质量。
• 该框架支持使用标准U-Net和$L_2$损失实现有效的3D图像到图像转换，证明了将2D深度学习技术应用于3D几何信号的可行性。