[论文解读] Dual Geometric Graph Network (DG2N) -- Iterative network for deformable shape alignment

Dvir Ginzburg, Dan Raviv|arXiv (Cornell University)|Nov 30, 2020

3D Shape Modeling and Analysis参考文献 87被引用 4

一句话总结

该论文提出双曲几何图网络（DG2N），一种可学习的迭代图神经网络，通过在双图结构（一个用于前向映射，一个用于后向映射）上展开去噪过程，实现对非刚性形状对应关系的优化。该方法在网格和点云的可变形形状对齐基准测试中均达到最先进性能，即使在严重非等距形变下仍表现优异，FAUST重网格化数据集上的平均测地线误差为5.9，在零样本设置下的误差为11.0。

ABSTRACT

We provide a novel new approach for aligning geometric models using a dual graph structure where local features are mapping probabilities. Alignment of non-rigid structures is one of the most challenging computer vision tasks due to the high number of unknowns needed to model the correspondence. We have seen a leap forward using DNN models in template alignment and functional maps, but those methods fail for inter-class alignment where nonisometric deformations exist. Here we propose to rethink this task and use unrolling concepts on a dual graph structure - one for a forward map and one for a backward map, where the features are pulled back matching probabilities from the target into the source. We report state of the art results on stretchable domains alignment in a rapid and stable solution for meshes and cloud of points.

研究动机与目标

• 解决在大范围非等距形变下，现有深度学习方法失效的非刚性、跨类别形状对齐挑战。
• 开发一种自监督、零样本框架，无需真实标签即可优化初始对应关系图。
• 克服谱方法和基于模板的方法在处理噪声大、不规则或拓扑变化输入（如点云）时的局限性。
• 通过可学习的迭代图去噪流水线，实现稳定且快速收敛至干净的软对应矩阵。
• 基于双向映射概率构建的双图结构，为网格和点云数据提供统一框架。

提出的方法

• 构建双几何图网络（DG2N），包含两个并行图结构：一个用于前向映射（源到目标），一个用于后向映射（目标到源），两者均基于软对应概率构建。
• 使用图卷积网络（GCNs）结合新型DGAT注意力模块，聚合节点间的特征，其中特征表示从目标形状回传的对应概率。
• 将优化过程展开为多块残差架构，通过组合多种损失函数，迭代地对初始软对应矩阵进行去噪。
• 集成四项关键损失项：L1、L2、LAG（对齐损失）和一致性损失，以正则化去噪过程并强制实现双向一致性。
• 采用基于图的消息传递机制，节点特征根据邻域聚合结果进行更新，边的构建通过k近邻（点云）或网格三角剖分（网格）实现。
• 仅以初始对应关系图为输入，采用端到端、自监督方式训练网络，无需真实标签。

实验结果

研究问题

• RQ1 双图结构能否有效建模双向对应概率，从而在大形变下提升非刚性形状对齐性能？
• RQ2 与现有方法相比，基于图的迭代软对应关系图去噪在挑战性基准测试中的准确性和鲁棒性如何？
• RQ3 自监督、零样本框架在无真实对应标注的情况下，能否实现最先进性能？
• RQ4 不同图神经网络架构（如GCN、GAT、DGCNN）及损失组件对DG2N最终对齐质量的影响如何？
• RQ5 所提方法能否在不同模态（网格与点云）及拓扑变化（包括非等距形变和跨类别形状对对）上实现良好泛化？

主要发现

• 在FAUST重网格化基准测试中，DG2N实现5.9的平均测地线误差（MGE），优于所有先前的无监督方法，包括SURFMNet（36.2）和Cyclic-FMNet（14.1）。
• 在零样本设置下，DG2N将FAUST-重网格化数据集上的平均测地线误差降低至11.0，比次优方法（Cyclic-FMnet）高出3.1个单位。
• 消融实验表明，L1、L2、LAG和一致性损失四项损失函数均不可或缺，任一损失的移除均导致性能显著下降（例如，移除L2损失后MGE从5.9升至6.7）。
• 将DGAT模块替换为标准GAT或GCN会导致性能大幅下降（例如，GAT的MGE为14.3，而DG2N为5.9），证明了所提注意力机制的重要性。
• 在ShapeNet数据集（椅子、汽车、飞机）的点云配准任务中，DG2N生成了平滑、一致且鲁棒的对应关系图，优于因拉普拉斯分解噪声而失效的谱方法和基于重建的基线方法。
• 该方法对非等距形变和拓扑变化具有鲁棒性，成功实现了跨类别及点数不同的形状对齐，已在SURREAL、SMAL和TOSCA数据集上得到验证。