[论文解读] Low-Shot Learning with Imprinted Weights

H. Jerry Qi, Matthew A. Brown+1 more|arXiv (Cornell University)|Dec 19, 2017

Domain Adaptation and Few-Shot Learning参考文献 21被引用 8

一句话总结

本文提出权重嵌入（weight imprinting）方法，通过使用新类别样本的缩放激活值，直接设定卷积神经网络分类器的最终层权重，实现仅用极少数据即可获得即时分类性能。实验表明，对嵌入向量进行平均的方法优于最近邻分类法，并在CUB-200-2011数据集的1–5 shot学习场景中，提供了更优的微调初始化效果。

ABSTRACT

Human vision is able to immediately recognize novel visual categories after seeing just one or a few training examples. We describe how to add a similar capability to ConvNet classifiers by directly setting the final layer weights from novel training examples during low-shot learning. We call this process weight imprinting as it directly sets weights for a new category based on an appropriately scaled copy of the embedding layer activations for that training example. The imprinting process provides a valuable complement to training with stochastic gradient descent, as it provides immediate good classification performance and an initialization for any further fine-tuning in the future. We show how this imprinting process is related to proxy-based embeddings. However, it differs in that only a single imprinted weight vector is learned for each novel category, rather than relying on a nearest-neighbor distance to training instances as typically used with embedding methods. Our experiments show that using averaging of imprinted weights provides better generalization than using nearest-neighbor instance embeddings.

研究动机与目标

• 通过仅使用一两个训练样本，实现对新视觉类别的即时分类，模拟人类的少样本识别能力。
• 克服标准微调方法的局限性，后者需要在所有先前数据上重新训练，对资源受限设备不可行。
• 通过用每类一个平均嵌入向量替代多个存储的样本嵌入，改进基于嵌入的方法，降低内存占用并提升泛化能力。
• 通过使用嵌入权重而非随机初始化，为后续微调提供更优的初始化起点。

提出的方法

• 该方法从单个或多个新类别训练图像中计算倒数第二层激活值，并通过缩放形成最终层权重。
• 通过带有可学习缩放因子的归一化层，实现将这些激活值直接复制为分类器权重，同时保持标准卷积神经网络的参数形式。
• 对于每类多个样本的情况，激活值被平均以形成单一、稳定的权重向量，从而无需存储所有独立的嵌入向量。
• 嵌入权重可直接用于推理，实现无需再训练的即时分类性能。
• 该方法与标准反向传播兼容，当获得更多数据时，可继续进行微调。
• 该方法采用标准的softmax交叉熵损失进行评估，与更复杂的损失函数（如三元组损失或提升结构损失）形成对比。

实验结果

研究问题

• RQ1 是否可以通过少量样本的激活值直接初始化权重，实现比基于存储嵌入向量的最近邻检索更好的即时分类性能？
• RQ2 与使用单个样本嵌入的最近邻分类相比，对嵌入权重进行平均是否能提升泛化能力？
• RQ3 在少样本学习中，与随机初始化相比，权重嵌入作为微调起点的性能如何？
• RQ4 能否将嵌入方法与微调有效结合，以获得优于标准训练方法的最终准确率？
• RQ5 损失函数的选择（如softmax与提升结构损失）是否会影响嵌入权重的性能？

主要发现

• 使用平均嵌入进行嵌入的模型在CUB-200-2011数据集上实现了52.25%的top-1准确率（20-shot学习），优于使用单个嵌入的最近邻分类方法。
• 在10-shot学习中，嵌入模型达到了48.74%的top-1准确率，显著优于基线最近邻方法。
• 在微调后，嵌入权重在20-shot学习中实现了70.07%的top-1准确率，优于随机初始化微调所达到的71.57%。
• 该方法通过每类仅存储一个权重向量而非所有样本嵌入，显著降低了推理时的内存和计算开销。
• 将嵌入维度从64提升至512对性能无显著影响，表明该方法对嵌入大小具有鲁棒性。
• 在相同设置下，使用softmax损失的嵌入方法优于提升结构损失，表明在结合嵌入方法时，更简单的目标函数可能更有效。