[论文解读] ALIGNet: Partial-Shape Agnostic Alignment via Unsupervised Learning

Rana Hanocka, Noa Fish+4 more|arXiv (Cornell University)|Apr 23, 2018

Image and Object Detection Techniques参考文献 31被引用 20

一句话总结

ALIGNet 提出了一种无监督深度学习方法，用于实现对部分形状的无关形状对齐。该方法使用卷积神经网络，训练其将完整的源形状形变以匹配不完整的目标形状，仿佛目标形状是完整的。通过利用形状数据集学习形状感知先验，并通过各向异性的总变差正则化强制实现分段平滑的形变，该方法即使在目标形状缺失超过50%的情况下，也能实现鲁棒且可泛化的对齐，且无需真实对应关系。

ABSTRACT

The process of aligning a pair of shapes is a fundamental operation in computer graphics. Traditional approaches rely heavily on matching corresponding points or features to guide the alignment, a paradigm that falters when significant shape portions are missing. These techniques generally do not incorporate prior knowledge about expected shape characteristics, which can help compensate for any misleading cues left by inaccuracies exhibited in the input shapes. We present an approach based on a deep neural network, leveraging shape datasets to learn a shape-aware prior for source-to-target alignment that is robust to shape incompleteness. In the absence of ground truth alignments for supervision, we train a network on the task of shape alignment using incomplete shapes generated from full shapes for self-supervision. Our network, called ALIGNet, is trained to warp complete source shapes to incomplete targets, as if the target shapes were complete, thus essentially rendering the alignment partial-shape agnostic. We aim for the network to develop specialized expertise over the common characteristics of the shapes in each dataset, thereby achieving a higher-level understanding of the expected shape space to which a local approach would be oblivious. We constrain ALIGNet through an anisotropic total variation identity regularization to promote piecewise smooth deformation fields, facilitating both partial-shape agnosticism and post-deformation applications. We demonstrate that ALIGNet learns to align geometrically distinct shapes, and is able to infer plausible mappings even when the target shape is significantly incomplete. We show that our network learns the common expected characteristics of shape collections, without over-fitting or memorization, enabling it to produce plausible deformations on unseen data during test time.

研究动机与目标

• 解决传统基于特征的方法在缺乏对应关系时因几何差异或部分缺失形状而失效的挑战。
• 克服局部优化方法缺乏全局形状先验且对缺失数据或拓扑变化敏感的局限性。
• 开发一种数据驱动的无监督框架，从大规模形状集合中学习形状感知先验，以指导合理且结构保持的形变。
• 通过训练网络从部分输入中推断完整形状结构，实现对显著形状不完整情况的鲁棒对齐。
• 通过正则化和自监督学习避免过拟合或记忆化，确保对未见形状的泛化能力。

提出的方法

• 使用自监督损失函数训练基于CNN的形变网络，比较形变后的源形状与完整目标形状之间的重叠区域，即使目标形状部分可观测也适用。
• 采用基于网格的自由形变（FFD）层作为可微分的空间变换器，以学习高阶、表达性强的形变，同时控制平滑度。
• 对形变场应用各向异性总变差（TV）正则化，以促进分段平滑性，防止后处理任务中的结构失真。
• 使用数据集中随机配对的形状作为训练样本，其中源形状始终完整，目标形状则被随机掩码以模拟不完整性。
• 利用大规模形状集合学习全局、类别特定的形状先验，以捕捉常见的几何、拓扑和语义特征。
• 以端到端无监督方式训练网络，无需真实对应关系或对齐标签。

实验结果

研究问题

• RQ1 深度神经网络是否能在无任何真实监督的情况下，对不完整的形状目标执行合理的形状对齐？
• RQ2 从数据集中学习到的形状感知先验在存在缺失部分的情况下，能在多大程度上提升对齐的鲁棒性？
• RQ3 各向异性总变差正则化在形变过程中保持几何结构方面有多有效，同时又能实现对部分形状的无关性？
• RQ4 即使目标形状显著不完整，网络是否仍能泛化到同一类别或相似类别的未见形状？
• RQ5 无监督、自监督的训练范式是否能防止过拟合或记忆化，同时仍能实现对称性和尺度的准确重建？

主要发现

• ALIGNet 成功将完整的源形状对齐到缺失超过50%的不完整目标形状上，生成合理且结构一致的结果。
• 即使在模糊或高度不完整的情况下，网络仍能保持对称性和尺度等关键形状属性，表明其有效学习了形状先验。
• 各向异性总变差正则化显著提升了形变的平滑性，并防止了结构退化，尤其在纹理转移等下游任务中尤为重要。
• 该方法在相同数据集的未见测试形状上泛化良好，甚至在未训练但相似的形状类别上也表现稳健，展现出强大的鲁棒性和泛化能力。
• 无监督训练方案避免了记忆化和过拟合，因为网络学习的是数据集范围内的共享形状先验，而非记忆特定样本。
• 通过ICP进行后处理可进一步优化对齐效果，表明ALIGNet为迭代优化方法提供了强有力的初始化。