[论文解读] Large-scale Distance Metric Learning with Uncertainty

Qi Qian, Jiasheng Tang+3 more|arXiv (Cornell University)|May 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 19被引用 3

一句话总结

本文提出了一种大规模距离度量学习框架——边缘保持度量学习（MaPML），该框架联合学习鲁棒的距离度量和来自噪声、不确定数据的干净潜在样本。通过在少量潜在样本上进行训练而非原始数据，MaPML 加快了收敛速度，提高了对失真等干扰的鲁棒性，并保持了原始数据的大边缘特性——在 CIFAR-10、CIFAR-100 和 ImageNet 上实现了最先进的准确率，且训练速度显著快于以往方法。

ABSTRACT

Distance metric learning (DML) has been studied extensively in the past decades for its superior performance with distance-based algorithms. Most of the existing methods propose to learn a distance metric with pairwise or triplet constraints. However, the number of constraints is quadratic or even cubic in the number of the original examples, which makes it challenging for DML to handle the large-scale data set. Besides, the real-world data may contain various uncertainty, especially for the image data. The uncertainty can mislead the learning procedure and cause the performance degradation. By investigating the image data, we find that the original data can be observed from a small set of clean latent examples with different distortions. In this work, we propose the margin preserving metric learning framework to learn the distance metric and latent examples simultaneously. By leveraging the ideal properties of latent examples, the training efficiency can be improved significantly while the learned metric also becomes robust to the uncertainty in the original data. Furthermore, we can show that the metric is learned from latent examples only, but it can preserve the large margin property even for the original data. The empirical study on the benchmark image data sets demonstrates the efficacy and efficiency of the proposed method.

研究动机与目标

• 为解决由于三元组约束数量随样本数量呈二次或三次方增长而导致大规模距离度量学习（DML）计算不可行的问题。
• 通过将数据建模为干净潜在样本的扰动，提升对图像数据中姿态、光照和噪声等失真干扰的鲁棒性。
• 通过将训练样本减少为少量潜在样本，实现 DML 中高效的有效集优化。
• 确保所学习的度量不仅在潜在样本上保持大边缘，也能在原始的、含噪声的数据上保持大边缘。
• 在大规模基准数据集（包括 ImageNet）上展示所提方法的有效性与高效性。

提出的方法

• 该方法提出了一种边缘保持的度量学习框架，联合优化来自同一组训练数据的距离度量和潜在样本。
• 将每个原始数据点建模为一个干净潜在样本的扰动版本，以减少数据不确定性并提升泛化能力。
• 框架采用有效三元组约束机制，仅处理被违反的三元组，并利用潜在样本数量少的优势，使该步骤在计算上可行。
• 通过子问题求解方法结合切割平面法进行优化，实现快速收敛。
• 将学习到的度量应用于原始数据，并在理论上和实证上证明其大边缘特性得以保持。
• 该方法直接使用像素级特征，无需预训练网络，从而可恢复可解释的潜在样本图像。

实验结果

研究问题

• RQ1 从少量干净潜在样本中学习，是否能显著降低大规模距离度量学习的计算成本？
• RQ2 从潜在样本中学习是否能提升对图像失真等数据不确定性的鲁棒性？
• RQ3 仅在潜在样本上学习的度量，是否能保持原始含噪声数据的大边缘特性？
• RQ4 在 ImageNet 等大规模基准上，该方法在准确率和效率方面与现有 DML 方法相比如何？
• RQ5 当在潜在样本而非原始数据上训练时，有效集策略是否能在大规模 DML 中高效应用？

主要发现

• 在 CIFAR-10 上，MaPML 的测试误差率为 12.64% ± 0.16，优于 LMNN（13.62% ± 0.12）和 OASIS（15.22% ± 0.18）。
• 在 CIFAR-100 上，MaPML 的误差率为 34.70% ± 0.16，显著优于 OASIS（42.46% ± 0.21）和 HR-SGD（42.53% ± 0.19）。
• 在 ImageNet 上，MaPML 将测试误差降低至 33.92% ± 0.09，相比基线欧氏距离度量（35.65%）提升了 1.7%，尽管使用了预训练 ResNet18 的特征。
• MaPML 在 ImageNet 上的训练时间约为 1 小时，而 LMNN 在 24 小时内未能完成训练，表明其具有更优的可扩展性。
• 推理时间从使用原始数据时的每张图像 0.15 秒降低至使用潜在样本时的 0.007 秒，支持实时部署。
• 可视化结果证实，原始图像可被良好地解释为学习到的潜在样本的失真版本，验证了模型的数据生成假设。