[论文解读] Triplet-Center Loss for Multi-View 3D Object Retrieval

Xinwei He, Yang Zhou+3 more|arXiv (Cornell University)|Mar 16, 2018

3D Shape Modeling and Analysis参考文献 33被引用 39

一句话总结

该论文提出了一种新型度量学习损失函数——三元组中心损失（TCL），通过结合三元组损失与中心损失，提升多视角3D物体检索中特征的判别能力。通过联合最小化类内方差并最大化类间边界，TCL在ModelNet40、ShapeNet Core55以及基于草图的基准测试中显著提升了检索性能，mAP指标相比最先进方法最高提升5%。

ABSTRACT

Most existing 3D object recognition algorithms focus on leveraging the strong discriminative power of deep learning models with softmax loss for the classification of 3D data, while learning discriminative features with deep metric learning for 3D object retrieval is more or less neglected. In the paper, we study variants of deep metric learning losses for 3D object retrieval, which did not receive enough attention from this area. First , two kinds of representative losses, triplet loss and center loss, are introduced which could learn more discriminative features than traditional classification loss. Then, we propose a novel loss named triplet-center loss, which can further enhance the discriminative power of the features. The proposed triplet-center loss learns a center for each class and requires that the distances between samples and centers from the same class are closer than those from different classes. Extensive experimental results on two popular 3D object retrieval benchmarks and two widely-adopted sketch-based 3D shape retrieval benchmarks consistently demonstrate the effectiveness of our proposed loss, and significant improvements have been achieved compared with the state-of-the-arts.

研究动机与目标

• 为解决深度度量学习损失在3D物体检索中，特别是在多视角设置下的研究不足问题。
• 探究三元组损失与中心损失作为传统Softmax分类损失的替代方案，在3D检索任务中的有效性。
• 设计一种统一的损失函数，以同时增强类内紧凑性与类间可分性，从而提升检索性能。
• 证明所提出损失在基于视图、基于模型以及基于草图的3D检索任务中的泛化能力。

提出的方法

• 提出三元组中心损失（TCL），为每个类别学习一个中心，并强制同一类别的特征比与其他类别中心更接近于其自身类别中心。
• 将基于边距的三元组损失与基于中心的正则化中心损失相结合，联合最小化类内方差并最大化类间边距。
• 将TCL集成到MVCNN框架中，实现端到端训练，支持从多视角投影中联合进行特征提取与度量学习。
• 不仅将TCL应用于基于视图的网络，还应用于基于模型的架构（如PointNet和VoxNet），以评估其泛化性能。
• 采用基于边距的优化目标：对于每个锚点样本，最小化其到本类中心的距离，同时最大化其到其他类别中心的距离。
• 使用标准深度学习评估指标（mAP、NN、FT、ST、DCG、E）在多个基准上评估检索性能。

实验结果

研究问题

• RQ1 三元组损失与中心损失能否有效应用于多视角3D物体检索，从而超越基于Softmax的分类方法？
• RQ2 将三元组损失与中心损失结合为单一目标函数（TCL）后，是否能获得比单独使用任一损失更优的特征判别能力？
• RQ3 在ModelNet40与ShapeNet Core55等标准3D检索基准上，TCL相较于最先进方法的表现如何？
• RQ4 TCL能否泛化到基于草图的3D形状检索任务中，其中草图被视为特殊类型的视图？
• RQ5 尽管输入表示不同，TCL是否仍能提升PointNet与VoxNet等基于模型的3D网络的性能？

主要发现

• 在SHREC’13基准上，TCL达到80.7%的mAP，优于之前最先进方法LWBR（75.2%），提升5.5个百分点。
• 在SHREC’14基准上，TCL达到47.7%的mAP，超过LWBR的40.1%，提升7.6个百分点。
• 在ModelNet40上，使用Softmax损失的TCL在PointNet上达到74.5%的mAP，在VoxNet上达到73.2%的mAP，相比基线模型提升3–4%。
• 所提出的TCL在所有评估基准的所有指标（NN、FT、ST、DCG、mAP）上均一致提升了检索性能。
• 即使未使用如Wasserstein重心等复杂表示，TCL仍取得优异结果，表明其在特征学习中的有效性。
• 消融实验验证了TCL通过联合优化类内紧凑性与类间分离性，生成的特征比基线损失更具判别性。