[论文解读] Few-Shot Image Recognition by Predicting Parameters from Activations

Siyuan Qiao, Chenxi Liu+2 more|arXiv (Cornell University)|Jun 12, 2017

Domain Adaptation and Few-Shot Learning参考文献 23被引用 18

一句话总结

该论文提出了一种少样本图像识别方法，直接从特征激活预测分类层参数，从而在单次前向传播中实现对新类别的零样本适应。通过利用预训练网络中激活与学习参数之间的结构相似性，该方法在ImageNet和MiniImageNet上均取得了最先进（SOTA）的准确率。

ABSTRACT

In this paper, we are interested in the few-shot learning problem. In particular, we focus on a challenging scenario where the number of categories is large and the number of examples per novel category is very limited, e.g. 1, 2, or 3. Motivated by the close relationship between the parameters and the activations in a neural network associated with the same category, we propose a novel method that can adapt a pre-trained neural network to novel categories by directly predicting the parameters from the activations. Zero training is required in adaptation to novel categories, and fast inference is realized by a single forward pass. We evaluate our method by doing few-shot image recognition on the ImageNet dataset, which achieves the state-of-the-art classification accuracy on novel categories by a significant margin while keeping comparable performance on the large-scale categories. We also test our method on the MiniImageNet dataset and it strongly outperforms the previous state-of-the-art methods.

研究动机与目标

• 解决仅提供1–3个样本的新类别时的少样本图像识别挑战。
• 开发一种无需微调即可适应新类别的方法，同时保持在大规模类别上的性能。
• 通过直接从激活预测参数实现在单次前向传播中的快速推理。
• 利用激活统计量与分类层参数之间的结构相似性，实现跨类别的泛化。
• 构建一个在少样本和大规模分类任务中均有效的统一框架。

提出的方法

• 利用新类别的激活统计量（特别是每类的平均激活）来预测最终全连接层的参数。
• 训练一个参数预测网络，将平均激活映射到对应类别的参数，以预训练网络的权重作为监督信号。
• 使用对比损失将预测参数与原始预训练参数对齐，确保语义一致性。
• 应用温度缩放的余弦相似度，以提升参数预测的泛化能力和鲁棒性。
• 使用t-SNE可视化验证嵌入空间中激活均值与学习参数之间的结构相似性。
• 采用两种主干网络架构实现该方法：一种为简单CNN，另一种为WRN-28-10，用于消融实验和性能对比。

实验结果

研究问题

• RQ1 能否利用激活均值与分类参数之间的结构相似性，在无需微调的情况下预测新类别的参数？
• RQ2 从激活预测参数的方法是否在ImageNet等大规模数据集上优于现有少样本学习方法？
• RQ3 该方法是否能泛化到任意数量的少样本类别和参考图像，而无需像先前方法那样固定任务设置？
• RQ4 预测的参数分布与原始预训练参数在语义结构上对齐程度如何？
• RQ5 该方法在实现最先进少样本准确率的同时，是否仍能保持在大规模类别上的强性能？

主要发现

• 在完整的ImageNet数据集上，该方法以显著优势实现了最先进（SOTA）的少样本分类准确率，同时在原始1000个类上的性能与基线相当。
• 在MiniImageNet上，该方法在5-way 1-shot设置下达到59.60%的准确率，在5-way 5-shot设置下达到73.74%的准确率，优于先前的SOTA方法。
• Ours-WRN实现版本在5-shot设置下达到73.74%的准确率，较MAML（63.11%）和Meta-Learner LSTM（60.60%）高出超过10个百分点。
• t-SNE可视化结果证实了激活均值与分类参数之间具有高度的结构相似性，支持了该方法的核心假设。
• 参数预测器在多样化的少样本设置中泛化良好，对类别数量和每类参考图像数量无限制。
• 该方法实现了快速推理，对新类别无需训练，仅依赖预训练后的单次前向传播。