[论文解读] FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis

Nitika Verma, Edmond Boyer+1 more|arXiv (Cornell University)|Jun 16, 2017

3D Shape Modeling and Analysis参考文献 32被引用 12

一句话总结

FeaStNet 提出了一种新型图卷积网络，通过基于前一层特征动态调节滤波器权重，消除了对静态坐标或人工设计描述符的依赖。该方法在 3D 形状对应任务（FAUST 基准）上达到最先进性能，在部件标注任务（ShapeNet）上也取得具有竞争力的结果，展现出从原始坐标中学习优越局部形状表征的能力。

ABSTRACT

Convolutional neural networks (CNNs) have massively impacted visual recognition in 2D images, and are now ubiquitous in state-of-the-art approaches. CNNs do not easily extend, however, to data that are not represented by regular grids, such as 3D shape meshes or other graph-structured data, to which traditional local convolution operators do not directly apply. To address this problem, we propose a novel graph-convolution operator to establish correspondences between filter weights and graph neighborhoods with arbitrary connectivity. The key novelty of our approach is that these correspondences are dynamically computed from features learned by the network, rather than relying on predefined static coordinates over the graph as in previous work. We obtain excellent experimental results that significantly improve over previous state-of-the-art shape correspondence results. This shows that our approach can learn effective shape representations from raw input coordinates, without relying on shape descriptors.

研究动机与目标

• 为解决将 CNN 应用于缺乏规则网格结构的不规则 3D 网格数据的挑战。
• 克服现有图卷积方法依赖静态伪坐标或谱分解的局限性。
• 直接从原始 3D 坐标中学习有效的局部形状表征，无需预计算的形状描述符。
• 开发一种动态、特征自适应的卷积机制，以提升在多样化 3D 形状上的泛化能力。

提出的方法

• 提出一种动态图卷积算子，其中滤波器权重由前一层的特征决定，而非固定坐标。
• 使用可学习的变换（MLP）将特征映射为滤波器权重矩阵，实现自适应的邻域聚合。
• 采用多尺度架构并引入跳跃连接，以增强不同感受野下的特征学习能力。
• 对点云数据使用 k-近邻图，使模型可直接应用于非网格输入。
• 通过交叉熵损失端到端训练，用于对应关系和部件标注任务。
• 通过坐标噪声（最高达 0.2）进行数据增强，以提升模型鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 图卷积网络能否直接从原始 3D 坐标中学习到有效的局部形状表征，而无需人工设计的描述符？
• RQ2 基于学习特征的动态滤波器加权方法在 3D 形状分析中，相较于基于静态坐标的静态方法表现如何？
• RQ3 这种特征驱动的图卷积能否在具有不同拓扑结构和姿态的多样化 3D 形状上实现良好泛化？
• RQ4 此类模型在 3D 形状对应与部件标注任务上，能在多大程度上实现最先进性能？

主要发现

• FeaStNet 在 FAUST 基准上实现了 93.7% 的对应准确率，显著优于先前最先进方法。
• 模型对噪声输入具有良好的泛化能力，性能在坐标噪声水平达 0.2 时仍保持稳定。
• 在 ShapeNet 部件标注基准上，FeaStNet 达到 81.5% 的 mIoU，与 PointNet 和 Kd-network 等最先进方法相当。
• 特征可视化显示，深层网络中学习到的特征变得更加姿态不变且更具局部性，表明有效形状表征学习。
• 模型在基于点云构建的 k-近邻图上表现良好，证明其可直接应用于非网格数据。
• 部件标注任务中的失败案例主要源于异常形状或模糊的部件边界，表明问题更多出在边界定义而非模型容量。