[论文解读] Learning Discriminative 3D Shape Representations by View Discerning Networks

Biao Leng, Cheng Zhang+3 more|arXiv (Cornell University)|Aug 11, 2018

3D Shape Modeling and Analysis参考文献 26被引用 4

一句话总结

本文提出视图辨别网络（View Discerning Network, VDN），一种通过评分生成模块动态评估视图质量的深度学习框架，该模块为多视图特征分配注意力权重，从而提升3D形状识别的准确率与鲁棒性，尤其在遮挡和杂乱背景下表现更优。该方法在ModelNet和ShapeNet Core55数据集上优于当前最先进方法，收敛速度更快且计算成本更低。

ABSTRACT

In view-based 3D shape recognition, extracting discriminative visual representation of 3D shapes from projected images is considered the core problem. Projections with low discriminative ability can adversely influence the final 3D shape representation. Especially under the real situations with background clutter and object occlusion, the adverse effect is even more severe. To resolve this problem, we propose a novel deep neural network, View Discerning Network, which learns to judge the quality of views and adjust their contributions to the representation of shapes. In this network, a Score Generation Unit is devised to evaluate the quality of each projected image with score vectors. These score vectors are used to weight the image features and the weighted features perform much better than original features in 3D shape recognition task. In particular, we introduce two structures of Score Generation Unit, Channel-wise Score Unit and Part-wise Score Unit, to assess the quality of feature maps from different perspectives. Our network aggregates features and scores in an end-to-end framework, so that final shape descriptors are directly obtained from its output. Our experiments on ModelNet and ShapeNet Core55 show that View Discerning Network outperforms the state-of-the-arts in terms of the retrieval task, with excellent robustness against background clutter and object occlusion.

研究动机与目标

• 为解决视图基3D形状识别中低质量视图的负面影响，特别是在背景杂乱和物体遮挡等现实条件下的影响。
• 开发一种数据驱动、端到端可训练的网络，能够在特征聚合过程中自动评估并优先选择信息量丰富的视图。
• 通过用质量感知的特征加权替代标准的最大池化操作，提升多视图3D形状表征学习的效率与鲁棒性。
• 通过仅使用较少但高质量的视图实现有效识别，从而降低计算成本，而非对大量视图进行均匀采样。

提出的方法

• 网络引入评分生成模块，利用从特征图中提取的评分向量，评估每个投影2D视图的质量。
• 提出评分生成模块的两种变体：通道级评分单元与部件级评分单元，分别从不同角度评估特征图。
• 评分向量用于加权每个视图的CNN嵌入特征，生成强调信息丰富视图的加权特征表示。
• 网络以端到端方式聚合这些加权特征，直接输出具有判别性的3D形状描述符。
• 评分生成模块与主干网络联合训练，支持反向传播以同时优化特征提取与视图质量评分。
• 通过在包含遮挡图像的修改版ShapeNet Core55数据集上进行评估，模拟现实世界中的挑战。

实验结果

研究问题

• RQ1 在遮挡和杂乱等现实条件下，单个视图的质量如何影响多视图3D形状识别的性能？
• RQ2 可学习的、类似注意力的机制是否能通过选择性强调高质量视图来改善特征聚合？
• RQ3 在保持或提升识别准确率的前提下，少量高质量视图在多大程度上可替代均匀采样的视图？
• RQ4 与标准最大池化相比，所提出的基于评分的加权机制在鲁棒性与收敛速度方面表现如何？
• RQ5 视图质量评分机制的失效模式是什么，特别是在复杂或模糊形状上的表现？

主要发现

• 仅使用10个高质量视图即可实现优于使用64个均匀采样视图的识别性能，证明了视图质量的关键作用。
• 视图辨别网络在ModelNet和ShapeNet Core55基准测试中均优于当前最先进方法，尤其在遮挡和杂乱条件下表现更优。
• 训练过程中损失曲线显示，使用评分生成模块后收敛更快且更稳定，证实了训练效率的提升。
• 该方法通过仅依赖更少视图即可实现有效识别，显著降低了计算成本，同时保持高准确率。
• 部件级评分单元在复杂植物模型及置于较大物体上的吉他模型上未能识别出优质视图，原因在于内容无关的块划分方式与前景-背景混淆。
• 在遮挡的ModelNet40数据集上，植物模型的分类准确率下降至约45%，表明其在处理高复杂度、杂乱场景时存在关键局限。