[论文解读] MIC: Mining Interclass Characteristics for Improved Metric Learning

Karsten Roth, Biagio Brattoli+1 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Image and Video Retrieval Techniques参考文献 41被引用 17

一句话总结

本文提出 MIC 方法，通过使用独立的辅助编码器显式建模共享的类间特征（如视角、颜色和方向），改进度量学习。通过在代理聚类任务上训练该编码器，并减少其与主分类器之间的互信息，MIC 获得更紧凑、更鲁棒的嵌入表示，在五个图像检索基准上显著优于当前最先进方法。

ABSTRACT

Metric learning seeks to embed images of objects suchthat class-defined relations are captured by the embeddingspace. However, variability in images is not just due to different depicted object classes, but also depends on other latent characteristics such as viewpoint or illumination. In addition to these structured properties, random noise further obstructs the visual relations of interest. The common approach to metric learning is to enforce a representation that is invariant under all factors but the ones of interest. In contrast, we propose to explicitly learn the latent characteristics that are shared by and go across object classes. We can then directly explain away structured visual variability, rather than assuming it to be unknown random noise. We propose a novel surrogate task to learn visual characteristics shared across classes with a separate encoder. This encoder is trained jointly with the encoder for class information by reducing their mutual information. On five standard image retrieval benchmarks the approach significantly improves upon the state-of-the-art.

研究动机与目标

• 为解决由视角和光照等结构化因素引起的度量学习中的类内可变性问题，这些因素通常被视为噪声。
• 通过显式建模跨物体类别共享的视觉特征，提升零样本和少样本检索的泛化能力。
• 通过解耦类别特定特征与共享的类间属性，减少学习嵌入中的类内方差。
• 开发一种自监督代理任务，使辅助编码器无需额外标注即可训练。
• 通过解耦表示学习实现结构化不变性学习，增强标准度量学习框架。

提出的方法

• 采用双编码器架构，将类别判别特征（α）与共享类间特征（β）分离，Eα 在真实标签上训练，Eβ 在代理任务上训练。
• 代理任务通过每类标准化特征并对其标准化嵌入进行聚类，生成基于类别的聚类标签。
• 辅助编码器 Eβ 被训练以重建这些聚类标签，从而在无需额外标注的情况下学习结构化的类间属性。
• 应用梯度反转层和互信息损失，最小化 Eβ 向 Eα 的信息泄露，确保 Eα 不受非判别性共享特征的影响。
• 该方法与标准度量学习损失（如三元组损失、ProxyNCA）兼容，可与 Eα 和 Eβ 的目标联合优化。
• 在训练过程中定期更新 Eβ 的聚类标签，以反映特征表示的演变，提升共享特征建模质量。

实验结果

研究问题

• RQ1 显式建模如视角和颜色等共享类间视觉特征，能否提升度量学习性能？
• RQ2 将类别特定特征与共享视觉特征解耦，对零样本检索中的类内紧凑性和泛化能力有何影响？
• RQ3 基于聚类和标准化的自监督代理任务，在学习类间特征方面有何影响？
• RQ4 主编码器与辅助编码器之间的互信息正则化如何提升特征解耦与鲁棒性？
• RQ5 该方法的性能在多大程度上对超参数（如聚类数和标签更新频率）敏感？

主要发现

• 所提出的 MIC 方法在五个标准图像检索基准上达到最先进性能，包括 CUB200-2011、CARS196、Stanford Online Products、In-Shop Clothes 和 PKU VehicleID。
• 在 CUB200-2011 上，当与三元组损失结合时，MIC 将 Recall@1 提升至 66.1%，优于先前最先进方法。
• 消融实验表明，所有组件——聚类、标准化和互信息损失——均不可或缺，完整模型在 CARS196 上达到 82.6% Recall@1。
• 当 Eβ 使用标准化和互信息训练时，类内方差显著降低，表明类别紧凑性得到改善。
• 该方法对超参数选择具有鲁棒性：在聚类数范围内（±1% Recall@1）保持最优性能，标签更新频率在 1 至 10 个 epoch 之间时结果稳定。
• 该模型在多种度量学习损失（包括 ProxyNCA 和带半硬负样本挖掘的三元组损失）上均持续提升性能，证实其通用性。