[论文解读] AdaSample: Adaptive Sampling of Hard Positives for Descriptor Learning

Xinyu Zhang, Le Zhang+4 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Neural Network Applications参考文献 35被引用 6

一句话总结

AdaSample 提出了一种自适应在线小批量采样方法，通过基于信息量选择困难正样本以改进描述符学习。通过采用最大损失最小化形式的硬度感知训练协议，其在 HPatches 和 UBC Phototour 等标准基准上相较于 HardNet 等强基线模型实现了持续且显著的性能提升。

ABSTRACT

Triplet loss has been widely employed in a wide range of computer vision tasks, including local descriptor learning. The effectiveness of the triplet loss heavily relies on the triplet selection, in which a common practice is to first sample intra-class patches (positives) from the dataset for batch construction and then mine in-batch negatives to form triplets. For high-informativeness triplet collection, researchers mostly focus on mining hard negatives in the second stage, while paying relatively less attention to constructing informative batches. To alleviate this issue, we propose AdaSample, an adaptive online batch sampler, in this paper. Specifically, hard positives are sampled based on their informativeness. In this way, we formulate a hardness-aware positive mining pipeline within a novel maximum loss minimization training protocol. The efficacy of the proposed method is evaluated on several standard benchmarks, where it demonstrates a significant and consistent performance gain on top of the existing strong baselines.

研究动机与目标

• 通过聚焦于信息量高的小批量构建，而非仅关注困难负样本挖掘，解决三元组挖掘中的不平衡问题。
• 通过根据网络训练进度动态调整训练难度，提升描述符的泛化能力。
• 提出一种有原则的采样策略，通过基于梯度的分析量化训练样本的信息量。
• 克服现有方法将小批量构建视为随机或静态处理所带来的局限，从而获得更优的训练信号。
• 在图像块检索、验证和匹配等多个任务中，实现一致的性能提升。

提出的方法

• 利用其梯度贡献的大小来定义训练样本的信息量，以估计其对模型优化的潜在影响。
• 提出一个可计算的采样概率表达式（公式 13），优先选择更具信息量的正样本对进行小批量构建。
• 引入一种受最大损失最小化启发的训练协议，根据训练进度自适应地调整三元组的整体难度。
• 将自适应采样集成到三元组损失框架中，实现在训练过程中的在线、动态小批量构建。
• 使用角铰链三元组（AHT）损失作为主要优化目标，其在大多数设置下优于标准铰链三元组（HT）损失。
• 通过超参数 λ 平衡困难正样本与负样本的采样，其中在 HPatches 上 λ=10 表现出最佳性能。

实验结果

研究问题

• RQ1 自适应采样困难正样本是否能超越传统困难负样本挖掘，进一步提升描述符学习？
• RQ2 通过梯度贡献衡量的正样本信息量，如何影响模型收敛与性能表现？
• RQ3 在训练过程中动态调整三元组难度是否相比固定采样策略能带来更好的泛化性能？
• RQ4 在小批量中采样困难正样本与保持多样性之间的最优权衡是什么？
• RQ5 所提出的方法是否能在统计上显著优于 HardNet 和 L2-Net 等最先进基线模型？

主要发现

• 在 HPatches 上，使用 AHT 损失和 λ=10 时，AdaSample 的验证准确率达到 94.78%，优于 HardNet 的 94.42%，提升 0.36%。
• 在同一基准上，AdaSample 的检索准确率达到 83.98%，较 HardNet 的 83.41% 提升 0.57%。
• 在图像块分类任务中，AdaSample 在 Notredame-to-Liberty 设置下相较 HardNet 最多实现 8.38% 的相对提升，p 值为 0.011。
• 统计显著性检验（Mann-Whitney U 检验）表明，在 6 个实验设置中的 5 个，AdaSample 的性能提升在 α=5% 水平下具有统计显著性。
• 消融实验表明，λ=10 在各项任务中均表现最佳，表明平衡采样策略优于仅采样极端困难正样本的策略。
• 该方法表现出高度可复现性，五组随机种子下的标准差均低于 0.05，表明基于梯度的采样具有稳定性。