[论文解读] Alleviating the Sample Selection Bias in Few-shot Learning by Removing Projection to the Centroid

Jing Xu, Xu Luo+4 more|arXiv (Cornell University)|Oct 30, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本文提出任务中心投影移除（TCPR），一种简单的特征变换方法，通过消除沿任务中心方向的投影，缓解少样本学习中的样本选择偏差。通过利用相似的基础特征估计任务中心方向，并将其分量投影移除，TCPR 提升了模型的鲁棒性和准确性，尤其在低样本设置下表现优异，在十个多样化数据集上均取得一致的准确率提升，最高达3.87%。

ABSTRACT

Few-shot learning (FSL) targets at generalization of vision models towards unseen tasks without sufficient annotations. Despite the emergence of a number of few-shot learning methods, the sample selection bias problem, i.e., the sensitivity to the limited amount of support data, has not been well understood. In this paper, we find that this problem usually occurs when the positions of support samples are in the vicinity of task centroid -- the mean of all class centroids in the task. This motivates us to propose an extremely simple feature transformation to alleviate this problem, dubbed Task Centroid Projection Removing (TCPR). TCPR is applied directly to all image features in a given task, aiming at removing the dimension of features along the direction of the task centroid. While the exact task centroid cannot be accurately obtained from limited data, we estimate it using base features that are each similar to one of the support features. Our method effectively prevents features from being too close to the task centroid. Extensive experiments over ten datasets from different domains show that TCPR can reliably improve classification accuracy across various feature extractors, training algorithms and datasets. The code has been made available at https://github.com/KikimorMay/FSL-TCBR.

研究动机与目标

• 探究当支持样本靠近任务中心时，少样本学习性能不稳定的根源。
• 解决样本选择偏差问题，该问题源于支持数据缺乏代表性或接近所有类别共享的模式。
• 提出一种通用且轻量级的特征变换方法，提升判别能力，而无需修改主干网络或训练过程。
• 通过移除任务中心方向所捕获的共享模糊模式的影响，提升少样本泛化能力。

提出的方法

• 该方法利用每个支持特征最相似的前k个基础样本估计任务中心方向，即使在支持数据有限的情况下也能实现近似。
• 对每个图像特征应用线性变换，以移除其在估计的任务中心向量上的投影，从而有效消除共享分量。
• 该变换在任务内所有特征上统一应用，使其与特定的特征提取器或训练方法无关。
• 任务中心的近似基于以下假设：与新样本方向相近的基础特征具有强相关性且信息丰富。
• 该方法计算效率高，可仅通过极少修改集成到任何少样本学习流程中。
• 它利用基础数据与新数据之间的特征相似性，在低数据场景下稳定估计任务中心。

实验结果

研究问题

• RQ1 为何当支持样本接近任务中心时，少样本分类性能会出现显著波动？
• RQ2 任务中心方向如何导致少样本学习中的样本选择偏差？
• RQ3 移除投影到任务中心方向是否能提升分类的鲁棒性和准确率？
• RQ4 在支持数据稀缺时，估计任务中心的最优方式是什么？
• RQ5 所提出的变换是否在多样化数据集和特征提取器上均具有泛化能力？

主要发现

• 当支持样本接近任务中心时，分类准确率显著下降且方差增大，证实了样本选择偏差的存在。
• 在1-shot设置下，TCPR在10个多样化数据集上准确率最高提升3.87%，且提升稳定一致。
• 在多个特征提取器上，TCPR在1-shot 5-way任务中平均提升4.4%，在10-way 5-shot任务中平均提升1.5%。
• 消融实验表明，最优基底邻居数$k$随领域相似性变化，与基础分布越接近的数据集所需$k$越大。
• Grad-CAM可视化结果表明，TCPR将模型注意力重新引导至物体级特征，而非共享的背景模式。
• 即使基础数据集与新数据集在领域上差异显著，该方法仍表现有效，证明其对领域分布偏移具有鲁棒性。