[论文解读] Cross-Domain Few-Shot Classification via Adversarial Task Augmentation

Haoqing Wang, Zhihong Deng|arXiv (Cornell University)|Apr 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 20被引用 7

一句话总结

该论文提出对抗性任务增强方法，通过在源任务分布周围进行最坏情况优化，生成适应归纳偏置的'挑战性'任务，以提升跨域少样本分类的性能。该方法增强了元学习模型在领域分布变化下的鲁棒性，并在九个多样化的少样本数据集上显著优于标准元学习和微调基线方法，可作为即插即用模块适配多种模型。

ABSTRACT

Few-shot classification aims to recognize unseen classes with few labeled samples from each class. Many meta-learning models for few-shot classification elaborately design various task-shared inductive bias (meta-knowledge) to solve such tasks, and achieve impressive performance. However, when there exists the domain shift between the training tasks and the test tasks, the obtained inductive bias fails to generalize across domains, which degrades the performance of the meta-learning models. In this work, we aim to improve the robustness of the inductive bias through task augmentation. Concretely, we consider the worst-case problem around the source task distribution, and propose the adversarial task augmentation method which can generate the inductive bias-adaptive 'challenging' tasks. Our method can be used as a simple plug-and-play module for various meta-learning models, and improve their cross-domain generalization capability. We conduct extensive experiments under the cross-domain setting, using nine few-shot classification datasets: mini-ImageNet, CUB, Cars, Places, Plantae, CropDiseases, EuroSAT, ISIC and ChestX. Experimental results show that our method can effectively improve the few-shot classification performance of the meta-learning models under domain shift, and outperforms the existing works. Our code is available at https://github.com/Haoqing-Wang/CDFSL-ATA.

研究动机与目标

• 解决少样本分类中元学习模型在领域分布变化下泛化能力差的问题。
• 克服现有方法依赖任务特定归纳偏置或人工设计的局限性。
• 开发一种通用的即插即用方法，提升跨域鲁棒性，且无需目标领域数据。
• 通过模拟最坏情况任务分布，使元学习模型能够泛化到未见领域。

提出的方法

• 将问题表述为在源任务分布邻域内的最坏情况优化，邻域由距离度量 D(T, T₀) ≤ ρ 定义。
• 使用基于梯度的优化方法生成挑战模型归纳偏置的对抗性任务，特别针对损失函数 L(T; θ)。
• 引入随机卷积作为辅助任务增强技术，以提升多样性并改善泛化性能。
• 在对抗性任务生成过程中应用早停策略，隐式正则化任务分布，而无需显式正则化。
• 设计一个即插即用模块，可集成到多种元学习模型中，包括基于度量的方法（RelationNet）、图神经网络（GNN）和少样本学习模型（TPN）。
• 基于支持集之间的特征级差异设计距离度量，以定义任务分布偏移。

实验结果

研究问题

• RQ1 对抗性任务增强能否提升元学习模型在少样本分类中的跨域泛化能力？
• RQ2 所提方法在跨域少样本设置下与标准微调和预训练方法相比表现如何？
• RQ3 该方法是否能在具有不同归纳偏置的多种元学习模型上实现泛化？
• RQ4 随机卷积和正则化项在任务增强过程中的影响是什么？

主要发现

• 所提对抗性任务增强方法在九个多样化数据集（包括 mini-ImageNet、CUB、ISIC 和 ChestX）的跨域设置下，显著提升了少样本分类准确率。
• 该方法即使在传统预训练/微调基线方法也结合数据增强技术的情况下，仍显著优于它们。
• 在 5 类 1 样本和 5 样本任务中，该方法实现了最先进性能，且在所有八个未见领域中均保持一致的性能增益。
• 消融研究显示，随机卷积可进一步提升性能，而正则化项无帮助甚至可能损害泛化能力。
• 该方法在非度量学习模型（如 TPN）上依然有效，表明其适用范围不仅限于基于度量的方法。
• 最坏情况优化框架成功生成了具有挑战性的任务，显著提升了鲁棒性，且无需访问目标领域数据。