[论文解读] Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Few-Shot Classification

Bingyu Liu, Zhen Zhao+4 more|arXiv (Cornell University)|May 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 5被引用 25

一句话总结

本文提出一种带有批次谱正则化（BSR）的特征变换集成模型，用于跨域少样本学习（CD-FSL），通过在预训练过程中引入多样化的特征投影与谱正则化，提升模型在不同域间的泛化能力。该方法在使用 BSR+LP+DA 集成设置的 CD-FSL 基准测试中实现了最先进性能，平均准确率达到 73.94%。

ABSTRACT

In this paper, we propose a feature transformation ensemble model with batch spectral regularization for the Cross-domain few-shot learning (CD-FSL) challenge. Specifically, we proposes to construct an ensemble prediction model by performing diverse feature transformations after a feature extraction network. On each branch prediction network of the model we use a batch spectral regularization term to suppress the singular values of the feature matrix during pre-training to improve the generalization ability of the model. The proposed model can then be fine tuned in the target domain to address few-shot classification. We also further apply label propagation, entropy minimization and data augmentation to mitigate the shortage of labeled data in target domains. Experiments are conducted on a number of CD-FSL benchmark tasks with four target domains and the results demonstrate the superiority of our proposed model.

研究动机与目标

• 解决少样本学习中目标域标签数据极度稀缺所带来的域偏移问题。
• 通过在预训练阶段抑制对源域的过拟合，提升模型在不同域间的泛化能力。
• 通过集成学习与数据增强，提升低资源目标域中的预测鲁棒性与性能。
• 在微调阶段利用标签传播与熵最小化，缓解目标域中的标签稀缺问题。

提出的方法

• 使用 ResNet-10 作为主干网络进行特征提取，随后通过随机正交投影矩阵在多个集成分支中构建多样化的特征表示空间。
• 在预训练阶段应用批次谱正则化（BSR），以抑制特征矩阵的所有奇异值，提升对目标域的泛化能力。
• 采用 M 个分类器的集成结构，每个分类器在变换后的特征空间上独立训练，最终通过平均预测结果实现鲁棒性提升。
• 在微调阶段集成标签传播（LP）与数据增强（DA），利用未标记的查询数据以提升泛化性能。
• 通过熵最小化优化预测结果，鼓励模型对未标记查询样本输出更置信的预测。
• 使用小批量随机梯度下降（SGD）带动量进行训练，在预训练与微调阶段均对每个分支优化交叉熵损失，并加入 BSR 正则化。

实验结果

研究问题

• RQ1 与标准微调相比，特征变换预测器的集成是否能有效提升跨域少样本泛化能力？
• RQ2 批次谱正则化是否能有效抑制对源域的过拟合，并提升向目标域的迁移能力？
• RQ3 标签传播与数据增强在低样本目标域中如何贡献性能提升？
• RQ4 BSR、LP 与 DA 的组合是否显著优于单一组件？

主要发现

• 所提出的 BSR+LP+DA 集成模型在所有数据集与样本级别上实现了 73.94% 的平均准确率，显著优于强基线微调方法的 67.23%。
• 即使不使用集成或额外组件，仅 BSR 本身即可将性能提升至 70.76%，证明其在缓解域偏移方面的有效性。
• BSR 的集成版本将准确率进一步提升至 72.35%，表明特征变换的多样性可增强模型鲁棒性。
• 标签传播在与源域相近的域中持续提升性能，而数据增强在距离较远的域中表现更优。
• 数据增强在 ISIC2018 域中导致性能下降，表明其效果具有域相关性；而熵最小化提供了计算成本更低的替代方案，性能相当。
• 最佳配置 BSR+LP+DA（集成）在 CropDiseases 上达到 88.13% ± 0.49%，在 EuroSAT 上达到 94.72% ± 0.28%，在 ChestX 上达到 99.73% ± 0.06%，展现出强大的跨域适应能力。