[论文解读] A Simple Approach to Intrinsic Correspondence Learning on Unstructured 3D Meshes

Isaak Lim, Alexander Dielen+2 more|arXiv (Cornell University)|Sep 18, 2018

3D Shape Modeling and Analysis参考文献 16被引用 5

一句话总结

该论文提出了一种无需重采样的方法，通过直接对无结构3D网格的局部顶点邻域进行序列化表示，利用RNN或全连接网络进行编码，实现内在对应关系的学习。该方法在形状对应基准测试中表现优异，超越了多种最先进方法，同时避免了传统重采样技术带来的保真度损失和计算开销。

ABSTRACT

The question of representation of 3D geometry is of vital importance when it comes to leveraging the recent advances in the field of machine learning for geometry processing tasks. For common unstructured surface meshes state-of-the-art methods rely on patch-based or mapping-based techniques that introduce resampling operations in order to encode neighborhood information in a structured and regular manner. We investigate whether such resampling can be avoided, and propose a simple and direct encoding approach. It does not only increase processing efficiency due to its simplicity - its direct nature also avoids any loss in data fidelity. To evaluate the proposed method, we perform a number of experiments in the challenging domain of intrinsic, non-rigid shape correspondence estimation. In comparisons to current methods we observe that our approach is able to achieve highly competitive results.

研究动机与目标

• 消除在基于3D网格的深度学习中进行形状对应时对重采样的需求。
• 通过避免改变网格几何形状的预处理步骤，提升计算效率和数据保真度。
• 评估直接、原始的邻域编码是否能够匹配或超越基于补丁的重采样方法的性能。
• 研究基于RNN的模型在不规则、无结构网格数据上的鲁棒性和泛化能力。
• 在FAUST数据集的原始版本和重网格化版本上对方法进行基准测试，以评估其对网格细分的敏感性。

提出的方法

• 该方法通过在每个中心顶点周围按螺旋顺序序列化顶点，对局部网格邻域进行编码，从而在不重采样的情况下保留拓扑结构。
• 使用LSTM或全连接网络处理序列化的邻域数据，从而能够建模非规则、不规则的网格结构。
• 特征包括几何描述符（如边长、角度和顶点位置），这些被拼接为序列输入。
• 该方法引入了相对度量信息（如测地线距离），以增强对网格细分变化的鲁棒性。
• 模型通过监督损失在真实对应关系上进行端到端训练，以预测点对点对应关系。
• 该方法在原始FAUST数据集和重网格化FAUST数据集上进行评估，以测试其对不兼容网格连通性的鲁棒性。

实验结果

研究问题

• RQ1 直接、无需重采样的3D网格邻域编码能否在非刚性形状对应任务中实现竞争力的表现？
• RQ2 避免重采样是否能提升基于网格的深度学习中的数据保真度和推理效率？
• RQ3 基于RNN的模型对邻域序列排序变化（如随机螺旋旋转）的鲁棒性如何？
• RQ4 该模型能否泛化到具有不兼容连通性的重网格化数据，模拟真实世界条件？
• RQ5 引入相对度量信息是否能提升在具有挑战性的、对细分敏感的基准测试中的性能？

主要发现

• 所提方法在FAUST数据集上实现了竞争力的表现，其测地线误差指标优于多种最先进方法。
• 在网格连通性不兼容的重网格化FAUST数据集上，该方法仍保持出色性能，表明其对细分变化具有强鲁棒性。
• 增加相对度量信息（记为'++'）显著提升了性能，尤其在重网格化数据上，表明邻域表示得到增强。
• 该模型对随机螺旋旋转（即序列中不同起始点）表现出高度鲁棒性，100次预测产生的误差曲线几乎无法区分。
• 通过消除重采样步骤，该方法降低了计算成本，同时在准确率上保持或优于基于重采样的基线方法。
• 使用更长序列长度（如30+）的LSTM网络表现出更优性能，表明更丰富的邻域上下文有助于提升对应学习效果。