[论文解读] Mitigating the Hubness Problem for Zero-Shot Learning of 3D Objects

Ali Cheraghian, Shafin Rahman+2 more|arXiv (Cornell University)|Jul 15, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用 21

一句话总结

该论文提出了一种基于偏度的新型损失函数，以缓解三维点云识别中零样本学习（ZSL）的hubness问题，其中低质量的3D特征会加剧标签偏差。通过最小化每个训练批次内的预测偏度，该方法在ModelNet40、ModelNet10、McGill和SHREC2015上实现了最先进性能，首次对三维视觉中的ZSL和广义ZSL进行了全面评估。

ABSTRACT

The development of advanced 3D sensors has enabled many objects to be captured in the wild at a large scale, and a 3D object recognition system may therefore encounter many objects for which the system has received no training. Zero-Shot Learning (ZSL) approaches can assist such systems in recognizing previously unseen objects. Applying ZSL to 3D point cloud objects is an emerging topic in the area of 3D vision, however, a significant problem that ZSL often suffers from is the so-called hubness problem, which is when a model is biased to predict only a few particular labels for most of the test instances. We observe that this hubness problem is even more severe for 3D recognition than for 2D recognition. One reason for this is that in 2D one can use pre-trained networks trained on large datasets like ImageNet, which produces high-quality features. However, in the 3D case there are no such large-scale, labelled datasets available for pre-training which means that the extracted 3D features are of poorer quality which, in turn, exacerbates the hubness problem. In this paper, we therefore propose a loss to specifically address the hubness problem. Our proposed method is effective for both Zero-Shot and Generalized Zero-Shot Learning, and we perform extensive evaluations on the challenging datasets ModelNet40, ModelNet10, McGill and SHREC2015. A new state-of-the-art result for both zero-shot tasks in the 3D case is established.

研究动机与目标

• 为解决由于缺乏大规模预训练而导致3D点云识别中零样本学习（ZSL）的严重hubness问题，该问题在低质量3D特征下更加严重。
• 提出一种新的损失函数，通过减少每个训练批次中的预测偏度，显式地最小化hubness。
• 对3D点云分类中的标准ZSL和广义ZSL（GZSL）进行评估，这一设置此前在三维视觉中尚未被探索。
• 在多个3D基准数据集上展示所提方法的有效性，包括ModelNet40、ModelNet10、McGill和SHREC2015。
• 证明从特征到语义的映射比反向映射更有效，因为其在特征空间中减少了hubness。

提出的方法

• 该方法引入一种新颖的无监督损失L_U，通过计算每个训练批次内预测类别频率的偏度来量化hubness。
• 在训练过程中最小化该损失，以减少模型反复预测少数高频类别（即hub）的倾向。
• 偏度被计算为批次中可见类别预测分布的归一化三阶中心矩，作为hubness的代理指标。
• 该方法应用于3D点云分类器的端到端训练中，无需额外监督或预处理。
• 该方法兼容标准ZSL和广义ZSL（GZSL），其中推理时同时存在已见类和未见类。
• 该方法在GloVe和w2v词嵌入下均进行了评估，结果表明w2v在与3D点云语义对齐方面表现更优。

实验结果

研究问题

• RQ1 在3D零样本学习中，hubness问题如何表现？为何其严重性超过2D图像ZSL？
• RQ2 一种在训练时最小化预测偏度的损失是否能有效减少3D点云识别中的hubness？
• RQ3 所提方法在3D数据的标准ZSL和广义ZSL（GZSL）设置下是否均有效？
• RQ4 在3D ZSL中，哪种语义嵌入（GloVe与w2v）表现更优？原因是什么？
• RQ5 从特征到语义的映射是否比反向映射更有效地减少hubness？

主要发现

• 所提出的偏度损失在使用GloVe嵌入时，于ModelNet10上实现了33.9%的新SOTA准确率，在McGill上为12.5%，在SHREC2015上为6.2%。
• 使用w2v嵌入时，该方法在ModelNet10上达到28.7%的准确率，在McGill上为11.1%，在SHREC2015上为4.2%，优于先前方法。
• 实验表明，该方法显著降低了hubness，体现在特征到语义和语义到特征投影设置中偏度值的下降。
• 该方法首次在3D点云数据集（包括ModelNet40、ModelNet10、McGill和SHREC2015）上完成了广义零样本学习（GZSL）的全面评估。
• 在CUB 2D图像数据集上，该方法实现了59.4%的准确率，超过Zhang等人（2017）的SOTA 58.3%，证明了其在三维之外的泛化能力。
• w2v嵌入在3D ZSL中优于GloVe，可能是因为其与点云数据的几何语义对齐得更好。