[论文解读] Energy Confused Adversarial Metric Learning for Zero-Shot Image Retrieval and Clustering

Binghui Chen, Weihong Deng|arXiv (Cornell University)|Jan 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 36被引用 4

一句话总结

本文提出能量混淆对抗度量学习（ECAML），一种新颖的正则化框架，通过显式提升深度度量嵌入的泛化能力，增强零样本图像检索与聚类性能。通过引入一种对抗性能量混淆项，故意破坏对已见类别偏见的过拟合，ECAML 提升了模型的鲁棒性与泛化能力，在 CUB、CARS、Stanford Online Products 和 In-Shop 基准上均取得最先进性能。

ABSTRACT

Deep metric learning has been widely applied in many computer vision tasks, and recently, it is more attractive in \emph{zero-shot image retrieval and clustering}(ZSRC) where a good embedding is requested such that the unseen classes can be distinguished well. Most existing works deem this 'good' embedding just to be the discriminative one and thus race to devise powerful metric objectives or hard-sample mining strategies for leaning discriminative embedding. However, in this paper, we first emphasize that the generalization ability is a core ingredient of this 'good' embedding as well and largely affects the metric performance in zero-shot settings as a matter of fact. Then, we propose the Energy Confused Adversarial Metric Learning(ECAML) framework to explicitly optimize a robust metric. It is mainly achieved by introducing an interesting Energy Confusion regularization term, which daringly breaks away from the traditional metric learning idea of discriminative objective devising, and seeks to 'confuse' the learned model so as to encourage its generalization ability by reducing overfitting on the seen classes. We train this confusion term together with the conventional metric objective in an adversarial manner. Although it seems weird to 'confuse' the network, we show that our ECAML indeed serves as an efficient regularization technique for metric learning and is applicable to various conventional metric methods. This paper empirically and experimentally demonstrates the importance of learning embedding with good generalization, achieving state-of-the-art performances on the popular CUB, CARS, Stanford Online Products and In-Shop datasets for ZSRC tasks. extcolor[rgb]{1, 0, 0}{Code available at http://www.bhchen.cn/}.

研究动机与目标

• 为解决零样本图像检索与聚类（ZSRC）中的关键局限性：现有度量学习方法因缺乏显式泛化约束，而对已见类别偏见产生过拟合。
• 探究提升所学嵌入的泛化能力（超越单纯的可分性）是否能显著提升 ZSRC 性能。
• 开发一种即插即用的正则化技术，可无缝集成至多种现有度量学习框架中。
• 证明通过能量混淆项在训练过程中显式混淆模型，可促进对未见类别更具互补性与泛化性的知识探索。

提出的方法

• 引入一种能量混淆（EC）正则化项，通过在训练过程中随机增加不同类别嵌入之间的期望欧氏距离，来干扰模型。
• 以对抗方式将 EC 项与传统度量目标（如三元组损失、N-pair 损失、二项式损失）结合，形成双重优化目标：最小化度量损失，同时最大化混淆程度。
• 使用可学习超参数 λ 在端到端训练过程中平衡传统度量损失与 EC 正则化损失。
• 采用随机采样策略，从不同类别中随机选取图像对来计算 EC 项，确保模型不过度依赖表面层次的可分性特征。
• 设计 EC 项以减少对已见类别中具有偏见的头部属性的过拟合，通过抑制对易分离特征的过度自信。
• 使优化过程能够逃离由已见类别偏见引发的不良局部极小值，促进发现对未见类别更具用的抽象表示。

实验结果

研究问题

• RQ1 显式提升深度度量嵌入的泛化能力是否能显著改善零样本图像检索与聚类性能？
• RQ2 一种能破坏对已见类别偏见过拟合的对抗性混淆机制，是否能提升模型对未见类别的鲁棒性与可迁移性？
• RQ3 ECAML 框架在泛化能力与零样本迁移性能方面，相较于传统度量学习方法表现如何？
• RQ4 ECAML 框架在不改变网络架构的前提下，能否在不同度量学习目标（如三元组、N-pair、二项式损失）上实现良好泛化？
• RQ5 能量混淆项对模型学习抽象、泛化性特征的能力有何影响，而非学习表面化、类别特异性模式？

主要发现

• ECAML 在所有四个基准数据集（CUB、CARS、Stanford Online Products、In-Shop）上均一致提升了基线度量学习方法（三元组、N-Pair、二项式）的性能。
• 在 CUB 数据集上，ECAML(Binomial) 达到 55.7% R@1、66.5% R@2、76.7% R@4、85.1% R@8、61.8% NMI 和 30.5% F1，优于所有列出的最先进方法。
• 在 In-Shop 数据集上，ECAML(Binomial) 达到 83.8% R@1、95.1% R@10、96.6% R@20、97.3% R@30、97.7% R@40 和 98.0% R@50，创下新的最先进结果。
• 采用二项式损失的 ECAML 框架整体性能最佳，在 In-Shop 和 Stanford Online Products 上超越了 BIER 和 HDC 等专用最先进模型。
• 消融研究证实，能量混淆项有效减少了对已见类别偏见的过拟合，并显著提升了模型对未见类别的泛化能力。
• 该方法在不同度量学习目标上均具有普适性与有效性，作为即插即用的正则化技术展现出强大的泛化能力与鲁棒性。