[论文解读] FLAT: Few-Shot Learning via Autoencoding Transformation Regularizers

Haohang Xu, Hongkai Xiong+1 more|arXiv (Cornell University)|Dec 29, 2019

Domain Adaptation and Few-Shot Learning参考文献 19被引用 4

一句话总结

FLAT 提出了一种新颖的自监督正则化方法，用于少样本学习，通过自动编码应用于基础类别图像的变换，实现无需在变换正则化过程中依赖标签即可更好地泛化到新类别。在 miniImageNet 和 CUB 数据集上达到最先进性能，在跨数据集评估中实现 67.69% 的 5-shot 准确率，表明对领域偏移具有更强的鲁棒性。

ABSTRACT

One of the most significant challenges facing a few-shot learning task is the generalizability of the (meta-)model from the base to the novel categories. Most of existing few-shot learning models attempt to address this challenge by either learning the meta-knowledge from multiple simulated tasks on the base categories, or resorting to data augmentation by applying various transformations to training examples. However, the supervised nature of model training in these approaches limits their ability of exploring variations across different categories, thus restricting their cross-category generalizability in modeling novel concepts. To this end, we present a novel regularization mechanism by learning the change of feature representations induced by a distribution of transformations without using the labels of data examples. We expect this regularizer could expand the semantic space of base categories to cover that of novel categories through the transformation of feature representations. It could minimize the risk of overfitting into base categories by inspecting the transformation-augmented variations at the encoded feature level. This results in the proposed FLAT (Few-shot Learning via Autoencoding Transformations) approach by autoencoding the applied transformations. The experiment results show the superior performances to the current state-of-the-art methods in literature.

研究动机与目标

• 通过探索特征空间中类别间的差异，提升从基础类别到新类别的泛化能力。
• 解决监督数据增强的局限性，因其依赖标签且产生不切实际的扭曲，导致泛化能力不足。
• 开发一种无监督正则化机制，学习变换引起的特征差异，而无需使用基础类别或新类别的标签。
• 通过在编码层检查变换增强后的特征变化，最小化对基础类别的过拟合。
• 通过学习更鲁棒且可泛化的表示，提升在不同数据集间的迁移能力。

提出的方法

• 采用双分支神经网络架构，其中一支处理原始图像，另一支处理同一图像的随机采样变换。
• 通过从编码特征中重建应用的变换，使用变换参数上的重建损失，以无监督方式预训练模型。
• 利用变换增强的特征正则化基础类别的表示学习，扩展其语义空间以覆盖新类别的空间。
• 训练表示编码器对变换引起的改变保持不变，同时保留语义结构，从而增强泛化能力。
• 在推理阶段，使用预训练的编码器对来自新类别的少样本示例进行分类器微调。
• 通过作为特征编码器上的自监督正则化器，该方法可无缝集成到现有少样本学习框架中。

实验结果

研究问题

• RQ1 无监督变换自动编码能否提升少样本学习中从基础类别到新类别的泛化能力？
• RQ2 与监督数据增强相比，基于变换的正则化在跨类别泛化方面表现如何？
• RQ3 一种检查变换下特征层级变化的自监督正则化器，能否减少对基础类别的过拟合？
• RQ4 在存在领域偏移的跨数据集少样本学习场景下，所提方法在多大程度上改善了泛化能力？
• RQ5 与现有最先进少样本学习方法相比，变换自动编码是否带来更好的性能？

主要发现

• 在从 miniImageNet 到 CUB 的跨数据集评估中，FLAT 实现了 67.69% 的 5-shot 准确率，优于最佳基线方法 2.1%。
• 在 miniImageNet 数据集上，FLAT 的性能优于最先进方法，证明其在标准少样本学习基准中的有效性。
• 消融研究证实，自动编码正则化机制通过扩展基础类别的语义特征空间，显著提升了泛化能力。
• 该方法对领域偏移表现出强鲁棒性，其在跨数据集场景中的一致性能提升得到验证。
• 即使在从零开始对新类别特征进行微调时，模型仍表现出良好泛化能力，表明所学表示的强大性。
• 在域内和跨数据集设置下，该方法均优于标准基线和先进的元学习模型（如 MAML 和 ProtoNet）。