[论文解读] Characterizing Generalization under Out-Of-Distribution Shifts in Deep Metric Learning

Timo Milbich, Karsten Roth+4 more|arXiv (Cornell University)|Jul 20, 2021

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本论文提出了 ooDML 基准，通过构建具有逐步增加的分布偏移难度的训练-测试划分，系统性地评估深度度量学习（DML）中的分布外（OOD）泛化能力，偏移难度通过弗雷歇 inception 距离（Fréchet Inception Distance）进行量化。结果表明，标准 DML 方法在 OOD 偏移下性能显著下降，但少样本微调在所有设置中均能一致提升泛化能力，尤其在高偏移场景下表现突出。

ABSTRACT

Deep Metric Learning (DML) aims to find representations suitable for zero-shot transfer to a priori unknown test distributions. However, common evaluation protocols only test a single, fixed data split in which train and test classes are assigned randomly. More realistic evaluations should consider a broad spectrum of distribution shifts with potentially varying degree and difficulty. In this work, we systematically construct train-test splits of increasing difficulty and present the ooDML benchmark to characterize generalization under out-of-distribution shifts in DML. ooDML is designed to probe the generalization performance on much more challenging, diverse train-to-test distribution shifts. Based on our new benchmark, we conduct a thorough empirical analysis of state-of-the-art DML methods. We find that while generalization tends to consistently degrade with difficulty, some methods are better at retaining performance as the distribution shift increases. Finally, we propose few-shot DML as an efficient way to consistently improve generalization in response to unknown test shifts presented in ooDML. Code available here: https://github.com/CompVis/Characterizing_Generalization_in_DML.

研究动机与目标

• 为解决现有 DML 基准仅在单一、固定且常近似独立同分布（i.i.d.）的训练-测试划分上评估泛化能力的局限性，此类设置无法真实反映现实世界中的 OOD 分布偏移。
• 系统构建一系列具有逐步增加分布偏移难度的训练-测试划分，以实现对 DML 泛化能力更真实、更全面的评估。
• 分析最先进 DML 方法在多样化 OOD 偏移下的性能表现，以理解不同正则化技术与网络架构选择的影响。
• 探究少样本微调是否可作为一种简单、有效且一致的方法，在分布偏移难度逐步增加的条件下持续提升 OOD 泛化能力。
• 提供一个公开可用的基准，涵盖 CUB200-2011、CARS196 和 SOP 数据集的多个划分，包含用于少样本 DML 研究的训练与评估 episode。

提出的方法

• 通过生成具有系统性增加分布偏移难度的多个训练-测试划分来构建 ooDML 基准，使用训练集与测试集类别分布之间的弗雷歇 inception 距离（FID）进行量化。
• 采用三个标准 DML 基准数据集——CUB200-2011、CARS196 和斯坦福在线产品（Stanford Online Products，SOP）——以确保广泛适用性与可复现性。
• 在所有划分上评估最先进 DML 方法（如 ArcFace、Multisimilarity、S2SD、DiVA）在分布偏移逐步增加条件下的性能退化情况。
• 引入并评估一种少样本 DML 适应策略：在推理前，使用来自测试分布的小量域内支持样本对模型进行微调。
• 采用标准 DML 训练目标（如三元组损失、对比损失、代理-softmax 损失）与正则化技术（自监督、知识蒸馏、对抗性正则化），以隔离方法设计在 OOD 条件下的影响。
• 使用标准指标报告结果：所有划分上的 top-1 准确率与 mAP@1000，辅以置信区间以确保统计可靠性。

实验结果

研究问题

• RQ1 随着训练集与测试集之间分布偏移的增加，最先进 DML 方法的性能如何变化？
• RQ2 不同正则化技术（如自监督、知识蒸馏、对抗性训练）在分布偏移逐步增加的条件下，能在多大程度上缓解性能下降？
• RQ3 少样本微调是否能在多样化且逐步增加难度的分布偏移中一致提升 OOD 泛化能力？
• RQ4 与所提出的 ooDML 基准相比，标准 DML 基准在分布偏移难度与评估真实性方面表现如何？
• RQ5 在高偏移 OOD 条件下，DML 方法在概念设计上的差异（如损失设计、代理使用）的相对影响是什么？

主要发现

• 标准 DML 基准通常对应较低的分布偏移（低 FID），类似于 i.i.d. 设置，这低估了真实 OOD 泛化挑战的严重性。
• 所有 DML 方法的性能均随分布偏移的增加而持续下降，表现为训练与测试划分间 FID 上升，CUB200-2011 上 top-1 准确率在极端偏移下最高下降 20–25 个百分点。
• 在所评估方法中，S2SD 和 DiVA 在高偏移设置下表现出相对更强的鲁棒性，表明基于代理与自监督的方法可能在分布偏移下具有更好的泛化能力。
• 少样本微调显著提升了泛化能力：在 CUB200-2011 上使用 5-shot 支持样本时，S2SD 在高偏移（FID ≈ 100）下达到 86.69% 的 top-1 准确率，而无微调时为 81.39%，表明其在各类方法中均实现一致提升。
• 在高 OOD 偏移条件下，DML 方法的概念设计（如代理使用、对比损失）的影响比正则化技术更为关键，表明架构选择在极端 OOD 场景中比辅助损失更为重要。
• 所提出的 ooDML 基准表明，即使仅提供极少量域内知识（如 5-shot 支持样本），也能有效将度量空间适配到新的测试分布，凸显了少样本适应在实现鲁棒 OOD 泛化方面的潜力。