[论文解读] Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation

Hung-Yu Tseng, Hsin-Ying Lee+2 more|arXiv (Cornell University)|Jan 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 65被引用 179

一句话总结

本文介绍了特征级变换层，以增加度量学习基础的少样本分类器的特征激活，并使用学习到学习的策略来优化这些层，以在域迁移下对未见域具有更好的泛化。

ABSTRACT

Few-shot classification aims to recognize novel categories with only few labeled images in each class. Existing metric-based few-shot classification algorithms predict categories by comparing the feature embeddings of query images with those from a few labeled images (support examples) using a learned metric function. While promising performance has been demonstrated, these methods often fail to generalize to unseen domains due to large discrepancy of the feature distribution across domains. In this work, we address the problem of few-shot classification under domain shifts for metric-based methods. Our core idea is to use feature-wise transformation layers for augmenting the image features using affine transforms to simulate various feature distributions under different domains in the training stage. To capture variations of the feature distributions under different domains, we further apply a learning-to-learn approach to search for the hyper-parameters of the feature-wise transformation layers. We conduct extensive experiments and ablation studies under the domain generalization setting using five few-shot classification datasets: mini-ImageNet, CUB, Cars, Places, and Plantae. Experimental results demonstrate that the proposed feature-wise transformation layer is applicable to various metric-based models, and provides consistent improvements on the few-shot classification performance under domain shift.

研究动机与目标

• 通过在训练过程中增强特征分布来解决基于度量的少样本分类中的域偏移。
• 提出对中间特征应用仿射变换的特征级变换层。
• 开发一个学习到学习的算法来优化这些变换层的超参数。
• 在标准的少样本基准测试上展示在多个域偏移下的泛化改进。

提出的方法

• 在特征编码器的批量归一化之后插入特征级变换层，应用仿射变换，其中 gamma 和 beta 来自由学习的超参数参数化的高斯分布。
• 形式上，gamma ~ N(1, softplus(theta_gamma)) 和 beta ~ N(0, softplus(theta_beta))，其中 z_hat = gamma * z + beta，其中 z 是中间激活。
• 在编码器中使用多层，以模拟跨域环境中多样化的特征分布。
• 使用一个学习到学习的循环来优化超参数 theta_gamma 和 theta_beta，在伪可见域和伪不可见域上训练以最大化泛化。
• 通过一个双层式方案（Eq.5–7）联合优化基于度量的模型参数和特征级变换超参数。
• 在五个数据集上使用三个基于度量的骨干（MatchingNet、RelationNet、GNN）在5-way 的任务上，对 5 个数据集（mini-ImageNet、CUB、Cars、Places、Plantae）使用 ResNet-10 作为骨干进行评估。

实验结果

研究问题

• RQ1 特征级变换层能否提高少样本分类的领域泛化能力？
• RQ2 如何优化这些层的超参数，以捕捉跨域特征分布的变化？
• RQ3 学习到学习策略能否有效调整增广参数，以提升在未见域上的性能？
• RQ4 增强表示对多种基于度量的基线（MatchingNet、RelationNet、GNN）在不同领域的影响如何？

主要发现

• 特征级变换层在域迁移下对所有测试骨干的一致性提升少样本准确率。
• 对变换参数进行学习到学习优化在泛化方面比手动调优的数值更进一步提升。
• t-SNE 可视化显示使用变换层时域距离减少，表明特征在跨域上的对齐更好。
• 在逐域留出评估中，学习到学习优化优于固定、预设参数设置。
• 使用所提出层的 GNN 在 seen 和 unseen 域上表现强劲，常常超越基线。