[论文解读] Learning with Imprinted Weights

H. Jerry Qi, Matthew A. Brown+1 more|arXiv (Cornell University)|Dec 19, 2017

Domain Adaptation and Few-Shot Learning参考文献 12被引用 10

一句话总结

本文提出权重嵌入（weight imprinting）方法，通过使用少量样本的缩放嵌入直接设定卷积神经网络（ConvNets）最终层的权重，实现对新类别的快速分类。与基于代理的方法不同，该方法为每个类别使用单一学习得到的权重向量，通过嵌入权重的平均化，实现了比最近邻实例嵌入更优的泛化性能。

ABSTRACT

Human vision is able to immediately recognize novel visual categories after seeing just one or a few training examples. We describe how to add a similar capability to ConvNet classifiers by directly setting the final layer weights from novel training examples during low-shot learning. We call this process weight imprinting as it directly sets weights for a new category based on an appropriately scaled copy of the embedding layer activations for that training example. The imprinting process provides a valuable complement to training with stochastic gradient descent, as it provides immediate good classification performance and an initialization for any further fine-tuning in the future. We show how this imprinting process is related to proxy-based embeddings. However, it differs in that only a single imprinted weight vector is learned for each novel category, rather than relying on a nearest-neighbor distance to training instances as typically used with embedding methods. Our experiments show that using averaging of imprinted weights provides better generalization than using nearest-neighbor instance embeddings.

研究动机与目标

• 使卷积神经网络分类器在仅看到一个或少数几个训练样本后，能够快速识别新的视觉类别。
• 通过为新类别提供立即且高质量的初始化，解决随机梯度下降在低样本学习中的局限性。
• 改进现有基于嵌入的方法在泛化性能上的不足，这些方法依赖于与训练实例的最近邻距离。
• 探索一种直接、非迭代的方法，利用新样本的特征激活来初始化新类别的权重。

提出的方法

• 该方法通过使用单个训练样本的嵌入层激活的缩放副本，直接设定新类别的最终全连接层权重。
• 嵌入的权重向量通过将输入样本的激活投影到一个学习到的变换中获得，从而为新类别创建一个原型。
• 该方法通过为每个新类别学习一个单一、固定的权重向量，避免了依赖最近邻比较。
• 对同一类别中多个样本的嵌入权重进行平均，可提升泛化性能。
• 该方法在概念上与基于代理的嵌入相关，但区别在于每个类别仅使用一个向量，而非基于距离的检索。

实验结果

研究问题

• RQ1 通过嵌入嵌入的直接权重初始化是否能在少样本分类性能上优于标准微调？
• RQ2 与基于最近邻的实例嵌入相比，每个类别使用单一原型向量在泛化性能上表现如何？
• RQ3 对同一类别的多个样本的嵌入权重进行平均，是否比仅使用单个样本的嵌入权重带来更好的性能？
• RQ4 在低样本学习场景下，权重嵌入与基于代理的嵌入方法相比表现如何？

主要发现

• 权重嵌入在仅看到一个或少数几个样本后，即可为新类别提供立即且高质量的分类性能。
• 对同一类别中多个样本的嵌入权重进行平均，其泛化性能优于仅使用单个嵌入向量。
• 该方法通过避免依赖与训练实例的距离比较，优于基于最近邻的实例嵌入方法。
• 嵌入过程可作为后续微调的有效初始化，提升收敛速度和最终准确率。