[论文解读] An end-to-end approach for the verification problem: learning the right distance

João Monteiro, Isabela Albuquerque+3 more|arXiv (Cornell University)|Feb 21, 2020

Machine Learning and Data Classification被引用 5

一句话总结

本文提出一种端到端框架，联合训练编码器和可学习伪距离模型以解决验证问题，实现对两个样本是否属于同一类别的直接预测。该方法优于余弦相似度等标准基线模型及下游分类器，通过消除负样本对挖掘的需求简化了训练过程，并在经验上学习到一种近似似然比的距离度量，有效增强了正负样本对分布之间的差异性。

ABSTRACT

In this contribution, we augment the metric learning setting by introducing a parametric pseudo-distance, trained jointly with the encoder. Several interpretations are thus drawn for the learned distance-like model's output. We first show it approximates a likelihood ratio which can be used for hypothesis tests, and that it further induces a large divergence across the joint distributions of pairs of examples from the same and from different classes. Evaluation is performed under the verification setting consisting of determining whether sets of examples belong to the same class, even if such classes are novel and were never presented to the model during training. Empirical evaluation shows such method defines an end-to-end approach for the verification problem, able to attain better performance than simple scorers such as those based on cosine similarity and further outperforming widely used downstream classifiers. We further observe training is much simplified under the proposed approach compared to metric learning with actual distances, requiring no complex scheme to harvest pairs of examples.

研究动机与目标

• 解决在无需复杂负样本对挖掘策略的情况下，训练度量学习模型用于验证任务的挑战。
• 开发一种端到端可训练框架，联合优化编码器与可学习伪距离，以提升验证性能。
• 证明所学习的伪距离近似于似然比，适用于似然比检验，并能诱导正负样本对分布之间产生高差异性。
• 通过用单次前向传播评分机制替代多组件系统，简化验证流程。
• 在大规模开放集验证基准（包括ImageNet）上评估该方法，测试时引入未见过的类别，模拟真实场景。

提出的方法

• 该方法以端到端方式联合训练一个深度神经网络编码器和一个可学习伪距离模型，两者均以神经网络参数化。
• 伪距离模型通过对比估计目标进行训练，该目标促使同类别样本对的距离变小，异类别样本对的距离变大。
• 损失函数结合了对比估计目标与标准多分类交叉熵损失，以稳定训练并提升泛化能力。
• 模型架构采用ResNet-50作为编码器主干网络，伪距离模型采用包含256个神经元隐藏层的全连接堆叠结构，输出为128维嵌入表示。
• 训练采用小批量策略，每类至少包含五个样本以确保正样本对的可用性，使用随机梯度下降优化，并采用余弦退火学习率调度策略。
• 推理通过单次前向传播完成，使用可学习伪距离模型的输出作为测试样本对的相似度得分。

实验结果

研究问题

• RQ1 联合训练的编码器与伪距离模型是否能在验证任务中超越标准度量学习基线模型？
• RQ2 所学习的伪距离是否近似于Neyman-Pearson假设检验中的似然比？
• RQ3 该方法是否能在无需显式负样本对挖掘的情况下实现优异性能，从而简化训练过程？
• RQ4 该模型是否能在开放集验证场景中泛化良好，即测试时出现训练阶段未见的类别？
• RQ5 在不同架构与伪距离模型超参数设置下，性能是否保持稳定？

主要发现

• 所提方法在ImageNet验证基准上优于使用余弦相似度和下游分类器的基线模型。
• 所学习的伪距离在正负样本对联合分布之间诱导出较高的Jensen-Shannon散度，表明其具有强大的判别能力。
• 伪距离输出近似于似然比，使得在Neyman-Pearson框架下可实现最优决策规则。
• 该方法通过消除复杂负样本对挖掘策略，显著简化了训练过程，因为对比目标天然地促进了特征的合理分离。
• 在伪距离头中使用3至4层全连接层（每层256个神经元）的模型在多个数据集上均表现出稳定且优异的性能，表明其可作为新应用的稳健起点。
• 该方法在开放集验证中表现出良好的泛化能力，即使在测试阶段出现训练时未见的类别，仍能保持强性能。