[论文解读] Interventional Few-Shot Learning

Zhongqi Yue, Hanwang Zhang+2 more|arXiv (Cornell University)|Sep 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 77被引用 94

一句话总结

IFSL 将预训练知识视为少样学习中的混淆因素，并使用后门调整进行干预，在 mini ImageNet、tiered ImageNet 和跨域 CUB 的 1-shot 和 5-shot 结果上达到SOTA。

ABSTRACT

We uncover an ever-overlooked deficiency in the prevailing Few-Shot Learning (FSL) methods: the pre-trained knowledge is indeed a confounder that limits the performance. This finding is rooted from our causal assumption: a Structural Causal Model (SCM) for the causalities among the pre-trained knowledge, sample features, and labels. Thanks to it, we propose a novel FSL paradigm: Interventional Few-Shot Learning (IFSL). Specifically, we develop three effective IFSL algorithmic implementations based on the backdoor adjustment, which is essentially a causal intervention towards the SCM of many-shot learning: the upper-bound of FSL in a causal view. It is worth noting that the contribution of IFSL is orthogonal to existing fine-tuning and meta-learning based FSL methods, hence IFSL can improve all of them, achieving a new 1-/5-shot state-of-the-art on extit{mini}ImageNet, extit{tiered}ImageNet, and cross-domain CUB. Code is released at https://github.com/yue-zhongqi/ifsl.

研究动机与目标

• 识别并形式化预训练在 FSL 中充当混淆因素的不足之处。
• 提出一个用于证明干预的 FSL 因果框架（SCM）。
• 基于后门调整开发三种实用的 IFSL 实现。
• 证明 IFSL 与现有微调和元学习 FSL 方法正交且能改进它们。
• 提供在标准基准测试中 1-/5-shot 性能提升的实证证据，并分析支持集与查询集之间相似性对性能的影响。

提出的方法

• 构建一个结构化因果模型（SCM），以表示预训练知识、样本特征与标签之间的因果关系。
• 应用后门调整来估计 P(Y|do(X))，作为因果干预。
• 提出三种实用的 IFSL 实现：逐特征调整、逐类别调整，以及组合调整。
• 利用 NWGM（Normalized Weighted Geometric Mean）来近似类别组件以提高效率。
• 确保 IFSL 可以插入到现有的 FSL 基线中，而不改变它们的核心训练目标。
• 在附录中提供算法细节和方程，以实现跨骨干网络和分类器的精确实例化。

实验结果

研究问题

• RQ1 预训练知识在少样学习中是否会成为混淆因素，从而使 P(Y|X) 偏离真实的因果效应？
• RQ2 如何在实际层面为 FSL 实例化后门调整，以在没有大量样本数据的情况下近似 P(Y|do(X))？
• RQ3 逐特征、逐类别还是组合调整是否能提升 FSL 的性能，并且这些改进是否与微调和元学习方法正交？
• RQ4 IFSL 在标准基准（mini ImageNet、tiered ImageNet）和跨域任务（CUB）中对 1-shot 和 5-shot 设置的经验提升大小如何？
• RQ5 IFSL 如何影响模型注意力（CAM-Acc）以及对查询难度的鲁棒性？

主要发现

• 将 IFSL 插入到微调和元学习基线中时，在 1-/5-shot 设置下均能带来一致的准确率提升。
• IFSL 在 1-/5-shot 场景中在 mini ImageNet 和 tiered ImageNet 上取得新的 SOTA。
• IFSL 在跨域泛化（从 mini ImageNet 到 CUB）方面相对线性分类器提供了改进，并且对归纳与推断基线均有益。
• 在 1-shot 设置中提升更大，表明样本较少时更易受混淆偏差影响。
• IFSL 通过 CAM-Acc 可视化证实对真实对象的关注度提升，表明依赖于正确的视觉语义而非混淆线索。
• IFSL 与现有 FSL 方法正交，在不改变核心训练程序的前提下改进基线。
• 在 S（支持集）与 Q（查询集）之间的相似性变化下，IFSL 在所有情形下均提升了性能，包括更难的查询样本。