[论文解读] Large Margin Mechanism and Pseudo Query Set on Cross-Domain Few-Shot Learning

Jia-Fong Yeh, Hsin-Ying Lee+4 more|arXiv (Cornell University)|May 19, 2020

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出 LMM-PQS，一种用于跨域少样本学习（CD-FSL）的新颖微调方法，解决了在极少标注数据下将模型适应到未见领域的挑战。通过引入伪查询集（PQS）以实现基于查询的微调、原型三元组损失（PT loss）以及大边缘余弦损失（LMCL），LMM-PQS 显著提升了零样本泛化能力，在包括卫星图像、医学图像和植物病害图像在内的多样化领域中，性能超越了强基线模型。

ABSTRACT

In recent years, few-shot learning problems have received a lot of attention. While methods in most previous works were trained and tested on datasets in one single domain, cross-domain few-shot learning is a brand-new branch of few-shot learning problems, where models handle datasets in different domains between training and testing phases. In this paper, to solve the problem that the model is pre-trained (meta-trained) on a single dataset while fine-tuned on datasets in four different domains, including common objects, satellite images, and medical images, we propose a novel large margin fine-tuning method (LMM-PQS), which generates pseudo query images from support images and fine-tunes the feature extraction modules with a large margin mechanism inspired by methods in face recognition. According to the experiment results, LMM-PQS surpasses the baseline models by a significant margin and demonstrates that our approach is robust and can easily adapt pre-trained models to new domains with few data.

研究动机与目标

• 为解决在存在显著领域差异的情况下，将少样本模型适应到新领域的挑战。
• 克服在微调过程中查询集不可用所带来的限制，该限制阻碍了标准少样本模型的适应。
• 通过整合大边缘与基于原型的学习方法，提升跨域少样本学习中的模型泛化能力。
• 证明使用伪查询集与边缘增强损失函数进行微调，可在未见领域中实现更优性能。
• 为现实世界中的少样本学习提供一种实用且数据高效的解决方案，其中目标领域的标注数据极为有限。

提出的方法

• 伪查询集（PQS）在微调过程中生成合成查询样本，以模拟元训练阶段，从而支持基于查询数据的梯度更新。
• 原型三元组损失（PT loss）将原型学习与三元组损失相结合，增强了支持集特征的类内紧凑性与类间分离性。
• 大边缘余弦损失（LMCL）被应用于将 CD-FSL 视为近似开放集问题，强制不同类别之间的更大角度间隔。
• 该方法在微调框架中整合 PQS、PT loss 与 LMCL，使标准少样本模型能够有效适应新领域。
• 该方法仅使用支持集与合成查询集即可实现端到端训练，保持与元学习训练动态的一致性。
• 使用 ResNet10/18 等主干网络以及 Baseline 和 ProtoNet 等模型，通过所提组件进行微调，以评估在不同架构上的泛化能力。

实验结果

研究问题

• RQ1 一种模拟基于查询学习的微调策略，是否能提升在跨域设置下的少样本模型适应能力？
• RQ2 当微调过程中真实查询数据不可用时，引入伪查询集对模型泛化能力有何影响？
• RQ3 原型三元组损失与大边缘余弦损失在多大程度上增强了跨域少样本学习中的特征判别能力？
• RQ4 所提方法是否在多样化的域外数据集上超越标准少样本学习与通用 DNN 微调方法？
• RQ5 在使用少样本风格组件进行微调时，标准主干网络在遵循标准实践的前提下，是否仍能保持良好的泛化能力？

主要发现

• LMM-PQS 在所有评估数据集上均显著优于竞争性基线模型，包括 CropDisease、EuroSAT 和 ISIC，展现出对未见领域的强大泛化能力。
• 在 5-shot 设置下，LMM-PQS 在 CropDisease 上达到最高准确率（87.2%），在 EuroSAT 上达到 85.4%，优于次优方法超过 3%。
• 该方法在不同主干网络上均表现出一致的性能提升：LMM-PQS 与 Baseline 结合的模型在多数数据集上优于基于 ProtoNet 的模型，尤其在 5-shot 场景中表现更优。
• 通过 T-SNE 可视化证实，PT loss 与 LMCL 显著增加了类内与类间特征距离之间的间隔，尤其在 CropDisease 与 EuroSAT 中表现明显。
• Grad-CAM 分析显示，即使在预测错误时，LMM-PQS 也能更稳健地聚焦于图像中的显著区域，表明注意力对齐更优。
• 尽管性能有所提升，ChestX-ray（ChestX）上的表现仍受限，PT loss 仅带来微弱的准确率增益，表明领域相似性挑战依然存在。