[论文解读] Learning Local Neighboring Structure for Robust 3D Shape Representation

Zhongpai Gao, Junchi Yan+4 more|arXiv (Cornell University)|Apr 21, 2020

3D Shape Modeling and Analysis被引用 4

一句话总结

该论文提出 LSA-Conv，一种用于 3D 网格表示学习的局部结构感知各向异性卷积操作，通过学习自适应加权矩阵对每个顶点的邻居进行软重排，实现在无预定义坐标系下的共享各向异性滤波。该方法在 3D 形状重建任务中达到最先进性能，并在形状对应和单目 3D 人脸重建等下游任务中表现出良好的泛化能力。

ABSTRACT

Mesh is a powerful data structure for 3D shapes. Representation learning for 3D meshes is important in many computer vision and graphics applications. The recent success of convolutional neural networks (CNNs) for structured data (e.g., images) suggests the value of adapting insight from CNN for 3D shapes. However, 3D shape data are irregular since each node's neighbors are unordered. Various graph neural networks for 3D shapes have been developed with isotropic filters or predefined local coordinate systems to overcome the node inconsistency on graphs. However, isotropic filters or predefined local coordinate systems limit the representation power. In this paper, we propose a local structure-aware anisotropic convolutional operation (LSA-Conv) that learns adaptive weighting matrices for each node according to the local neighboring structure and performs shared anisotropic filters. In fact, the learnable weighting matrix is similar to the attention matrix in the random synthesizer -- a new Transformer model for natural language processing (NLP). Comprehensive experiments demonstrate that our model produces significant improvement in 3D shape reconstruction compared to state-of-the-art methods.

研究动机与目标

• 解决 3D 网格中不规则、无序邻居结构带来的有效卷积特征学习挑战。
• 克服现有图卷积神经网络在 3D 形状上使用各向同性滤波和预定义局部坐标系的局限性。
• 通过学习节点特定的邻居排列，实现在无需显式排序或固定模板情况下的高容量、自适应特征提取。
• 通过可微分、可学习的加权机制利用局部几何结构，提升 3D 形状重建的准确性。
• 在 3D 形状对应和单目 3D 人脸重建等下游任务中展示泛化能力。

提出的方法

• 提出 LSA-Conv，一种新型卷积层，可学习节点特定的可微分加权矩阵，基于局部几何结构重新加权并软重排邻居。
• 加权矩阵作为深层网络的一部分端到端训练，类似于 Transformer 中的注意力机制，实现自适应邻居排序。
• 在重加权的邻居集合上应用共享的各向异性滤波器，以提取局部特征，保持空间不变性并增强表征能力。
• 将 LSA-Conv 集成到卷积网格自编码器（LSA-3DMM）中用于 3D 形状重建，保持与固定拓扑网格的兼容性。
• 采用可学习且参数高效的机制，避免手动螺旋排序或核点分配，区别于 SpiralNet 或 KPConv。
• 在 COMA 和 DFAUST 等标准 3D 网格数据集上，使用标准优化方法对模型进行端到端训练，且拓扑结构固定。

实验结果

研究问题

• RQ1 可学习的、结构感知的重加权机制是否能超越固定或各向同性卷积操作，在 3D 网格表征上取得更好效果？
• RQ2 消除对预定义局部坐标系或螺旋排序的需求，是否能提升在不规则 3D 网格上的特征学习能力？
• RQ3 通过可学习权重实现的自适应邻居排列，在重建精度上相比各向同性或固定顺序方法提升程度如何？
• RQ4 LSA-Conv 是否能有效泛化至下游 3D 视觉任务，如形状对应和单目 3D 人脸重建？
• RQ5 在 LSA-3DMM 框架中，邻居数量（K）如何在重建精度与模型复杂度之间进行权衡？

主要发现

• LSA-3DMM 在 COMA（人脸）和 DFAUST（身体）数据集上均实现了最先进的 3D 形状重建性能，优于现有方法（包括 COMA、SpiralNet 和 PCA）。
• 在 COMA 数据集上，LSA-3DMM 的重建误差为 0.212，显著低于 SpiralNet 的 0.227，证明可学习邻居排序优于预定义排序。
• 在 DFAUST 数据集上，LSA-3DMM 在 K=5 时达到 3.869 的重建误差，优于 PCA（9.977）、COMA（5.238）和 Spiral（5.258），即使邻居数量较小也表现优异。
• 消融实验表明，若移除加权矩阵，重建误差上升，证实结构感知重加权机制的必要性。
• 在 3D 形状对应任务中，LSA-Conv 将 FAUST-inter 上的平均误差降低至 2.501 cm，较 Groueix 等人（2.878 cm）提升 15%。
• 在单目 3D 人脸重建任务中，基于 LSA-Conv 的解码器在 AFLW2000-3D 上生成了定性更优的结果，验证其在真实世界 3D 生成任务中的有效性。