[论文解读] 1st Place Solution to Google Landmark Retrieval 2020

SeungKee Jeon|arXiv (Cornell University)|Aug 24, 2020

Advanced Image and Video Retrieval Techniques参考文献 5被引用 6

一句话总结

本论文展示了在 Google Landmark Retrieval 2020 竞赛中的获胜解决方案，结合了度量学习与迁移学习，在两个训练数据集上进行训练，对更大图像进行微调，对高质量样本采用损失加权，并进行模型集成。该方法在私有排行榜上实现了 0.38677 的 mAP@100 最先进得分，展示了在具有挑战性的现实条件下细粒度地标识别中的出色性能。

ABSTRACT

This paper presents the 1st place solution to the Google Landmark Retrieval 2020 Competition on Kaggle. The solution is based on metric learning to classify numerous landmark classes, and uses transfer learning with two train datasets, fine-tuning on bigger images, adjusting loss weight for cleaner samples, and esemble to enhance the model's performance further. Finally, it scored 0.38677 mAP@100 on the private leaderboard.

研究动机与目标

• 开发一个鲁棒的地标检索系统，能够在多样化的全球图像中区分视觉上相似的地标。
• 通过利用大规模预训练模型，提升细粒度视觉识别的泛化能力和准确性。
• 通过战略性数据筛选、损失加权和集成学习优化模型性能。
• 在 Google Landmark Retrieval 2020 竞赛基准上实现顶尖性能。

提出的方法

• 采用度量学习将图像嵌入到共享嵌入空间中，使得同一地标的图像彼此更接近，而不同地标的图像则相距更远。
• 使用两个不同的训练数据集应用迁移学习，以增强特征表示并提高模型泛化能力。
• 在更高分辨率的图像上对模型进行微调，以更好地捕捉细粒度视觉细节。
• 采用自适应损失加权，优先处理更清晰、更可靠的训练样本，从而减少优化过程中的噪声。
• 通过集成学习结合多个模型，提升在测试样本上的鲁棒性和泛化能力。
• 通过利用多种架构和训练配置的优势，优化推理过程。

实验结果

研究问题

• RQ1 在高度不平衡、细粒度分类设置下，如何有效结合度量学习与迁移学习以提升地标检索性能？
• RQ2 图像分辨率和数据质量对地标嵌入模型性能有何影响？
• RQ3 基于样本置信度的自适应损失加权能否改善模型收敛性和最终准确率？
• RQ4 在真实世界图像变化条件下，模型集成在地标检索中能多大程度上提升性能？
• RQ5 在 Google Landmark Retrieval 基准上，数据增强、模型架构和训练策略的最佳组合是什么，能实现最优泛化？

主要发现

• 该模型在私有测试集上实现了 0.38677 的 mAP@100 得分，获得竞赛第一名。
• 在更大图像上进行微调显著提升了对细粒度地标细节的特征提取能力。
• 对高质量样本采用自适应损失加权，使嵌入学习更加稳定和准确。
• 多个模型的集成降低了方差，并在多样化测试图像上提升了鲁棒性。
• 使用两个不同的训练数据集增强了模型的泛化能力并减少了过拟合。
• 从大规模预训练模型进行迁移学习为下游地标检索任务提供了强大的基础。