[论文解读] Towards Self-Adaptive Metric Learning On the Fly

Yang Gao, Yifan Li+3 more|arXiv (Cornell University)|Apr 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 23被引用 11

一句话总结

本文提出 OAHU，一种新颖的在线度量学习框架，通过自适应边界三元组损失（ABTL）与自适应 Hedge 更新（AHU），动态调整神经网络复杂度并充分利用所有约束条件——无需依赖‘困难’约束——实现端到端的非线性、自适应度量学习，从而在图像检索、人脸识别与分类任务中达到当前最优性能。

ABSTRACT

Good quality similarity metrics can significantly facilitate the performance of many large-scale, real-world applications. Existing studies have proposed various solutions to learn a Mahalanobis or bilinear metric in an online fashion by either restricting distances between similar (dissimilar) pairs to be smaller (larger) than a given lower (upper) bound or requiring similar instances to be separated from dissimilar instances with a given margin. However, these linear metrics learned by leveraging fixed bounds or margins may not perform well in real-world applications, especially when data distributions are complex. We aim to address the open challenge of "Online Adaptive Metric Learning" (OAML) for learning adaptive metric functions on the fly. Unlike traditional online metric learning methods, OAML is significantly more challenging since the learned metric could be non-linear and the model has to be self-adaptive as more instances are observed. In this paper, we present a new online metric learning framework that attempts to tackle the challenge by learning an ANN-based metric with adaptive model complexity from a stream of constraints. In particular, we propose a novel Adaptive-Bound Triplet Loss (ABTL) to effectively utilize the input constraints and present a novel Adaptive Hedge Update (AHU) method for online updating the model parameters. We empirically validate the effectiveness and efficacy of our framework on various applications such as real-world image classification, facial verification, and image retrieval.

研究动机与目标

• 解决在线自适应度量学习（OAML）中的挑战，现有方法因固定线性度量与约束利用不足而失效。
• 克服传统在线度量学习对硬约束的依赖及其无法动态调整模型复杂度的局限性。
• 开发一种可在实时应用中从流式约束中学习非线性、自适应度量函数的框架。
• 通过利用所有输入约束（而非仅最具挑战性的约束）提升对低质量或稀疏约束的鲁棒性。
• 实现动态模型复杂度调节，以在数据环境持续演化的场景中平衡表达能力与效率。

提出的方法

• 提出一种改进的深度神经网络架构，其中每个隐藏层的输出被送入一个独立的度量嵌入层（MEL），每个 MEL 代表一个独立的嵌入空间。
• 为每个 MEL 分配可学习的度量权重，以动态控制其对最终度量的贡献，从而实现模型复杂度的自适应调节。
• 提出自适应边界三元组损失（ABTL），在无需预设边界或边距的情况下，对每条约束评估相似性与非相似性误差。
• 设计自适应 Hedge 更新（AHU）方法，基于 ABTL 的误差信号以在线、增量方式联合更新网络参数与 MEL 权重。
• 在 AHU 中采用基于置信度的加权机制，优先选择误差减少潜力更高的 MEL，提升学习效率。
• 在 ABTL 中引入温度参数 τ 以控制损失计算的敏感度，最优值通过交叉验证确定。

实验结果

研究问题

• RQ1 深度度量学习框架是否能在无数据分布先验知识的前提下，在在线学习过程中动态调整其模型复杂度？
• RQ2 如何有效利用所有输入约束（无论难易程度）以提升度量学习性能？
• RQ3 所提出的 ABTL 损失在在线设置下相较于传统基于边距或基于边界的三元组损失，性能提升程度如何？
• RQ4 AHU 更新规则是否能实现稳定且高效的参数更新，同时保持高约束利用率？
• RQ5 该框架在图像检索与人脸识别等多样化真实应用场景中的表现如何？

主要发现

• OAHU 在 CARS-196 与 CIFAR-100 数据集上均取得最高的 Recall@K 分数，在图像检索任务中全面超越所有基线方法。
• OAHU 的 Recall@K 分数增长速度高于基线，表明其在在线学习中具备更快的收敛速度与更优的泛化能力。
• OAHU 中的度量权重分布显示多个 MEL 在不同层中被积极利用，证实了动态复杂度适应机制的有效性。
• 即使在 τ ≤ 0.6 的条件下，框架仍保持高性能，验证了理论边界的合理性，并展现出对超参数调优的鲁棒性。
• 在 S_emb = 50 时达到最优性能；进一步增大嵌入维度会导致准确率下降，原因在于噪声注入。
• 失败案例主要源于类别间细微的视觉差异，而非模型能力限制，表明其具备强大的语义泛化能力。