[论文解读] Google Landmark Recognition 2020 Competition Third Place Solution

Qishen Ha, Bo Liu+2 more|arXiv (Cornell University)|Oct 11, 2020

Multimodal Machine Learning Applications参考文献 3被引用 9

一句话总结

本论文提出了一种在 Google Landmark Recognition 2020 竞赛中获得第三名的解决方案，采用仅全局特征的子中心 ArcFace 模型集成。该方法引入了动态边缘（dynamic margins）用于 ArcFace 损失——作为类别大小的连续函数，可提升在类别极度不平衡的 GLDv2 数据集上的性能，结合渐进式微调与多阶段后处理，最终在私有排行榜上取得 0.6344 的得分。

ABSTRACT

We present our third place solution to the Google Landmark Recognition 2020 competition. It is an ensemble of global features only Sub-center ArcFace models. We introduce dynamic margins for ArcFace loss, a family of tune-able margin functions of class size, designed to deal with the extreme imbalance in GLDv2 dataset. Progressive finetuning and careful postprocessing are also key to the solution. Our two submissions scored 0.6344 and 0.6289 on private leaderboard, both ranking third place out of 736 teams.

研究动机与目标

• 解决 GLDv2 数据集中极端类别不平衡的问题，该问题会阻碍模型收敛与泛化能力。
• 通过将 ArcFace 中的恒定边缘替换为与类别大小相关的自适应边缘，提升仅全局特征模型的性能。
• 通过渐进式微调策略，优化大规模长尾数据集上的训练效率与模型泛化能力。
• 通过基于幂函数的后处理方法，结合特征相似性搜索与 ArcFace 头部得分，提升推理阶段的准确率。
• 证明在近期主干网络模型进步的背景下，局部特征在本任务中无法超越全局特征的表现。

提出的方法

• 提出 ArcFace 损失的动态边缘，作为类别大小的连续函数：$ f(n) = a \cdot n^{-\lambda} + b $，其中 $ n $ 为类别大小，$ a, b, \lambda $ 为可调超参数。
• 使用子中心 ArcFace（$ K=3 $ 个子中心/类别）以更好地捕捉地标图像中的类内差异。
• 实施三阶段渐进式微调策略：在 410 万张 256px 图像上进行预训练，随后在 320 万张 512–768px 图像上微调，最后在 672–1024px 分辨率下进一步微调。
• 应用数据增强技术，包括水平翻转、压缩、平移、缩放、旋转与 Cutout，同时避免过度增强导致性能下降。
• 通过后处理方法，将 top-k 最近邻预测结果结合，对余弦相似度使用 8 次幂函数融合，随后进一步利用 12 次幂融合 ArcFace 头部得分进行优化。
• 构建两个多样化集成模型：一个包含 7 个模型，使用标准微调策略；另一个包含 9 个模型，引入额外微调周期与模型变体，以提升多样性与性能。

实验结果

研究问题

• RQ1 在主干网络近期取得进步的背景下，仅全局特征模型能否在地标识别任务中超越混合全局-局部特征模型？
• RQ2 如何对 ArcFace 损失进行改进，以应对 GLDv2 等长尾数据集中极端类别不平衡的问题？
• RQ3 何种最优的动态边缘函数可提升 ArcFace 在小类别与大类别上的泛化能力？
• RQ4 在多个图像分辨率下实施渐进式微调，如何影响大规模地标识别任务中的模型性能？
• RQ5 通过结合特征相似性与 ArcFace logit 的后处理方法，能在多大程度上提升最终推理阶段的准确率？

主要发现

• 最佳动态边缘函数 $ n^{-1/4} $（边界值为 0.05 与 0.5）在 ResNet-B0 模型上相较恒定边缘基线，使验证集 GAP 提升 0.025。
• 集成模型 1 在私有排行榜上取得 0.6289 的得分，公共排行榜得分为 0.6604，排名第三。
• 集成模型 2 在私有排行榜上取得更高的 0.6344 得分，公共排行榜得分为 0.6581，同样排名第三。
• 通过 8 次幂融合 top-5 最近邻相似度的后处理，将最佳单模型私有排行榜得分从 0.5859 提升至 0.6040。
• 通过 12 次幂融合 ArcFace 头部得分，进一步将最佳单模型得分提升至私有排行榜的 0.6244。
• 局部特征模型（如 DELG）未提升集成性能，证实了在先进架构与损失函数适配下，仅全局特征的有效性。