[论文解读] Improving Generalization via Scalable Neighborhood Component Analysis

Zhirong Wu, Alexei A. Efros+1 more|arXiv (Cornell University)|Aug 14, 2018

Domain Adaptation and Few-Shot Learning参考文献 35被引用 10

一句话总结

该论文提出可扩展邻域成分分析（SNCA），一种非参数化方法，通过度量学习学习深度特征嵌入，以提升开放集识别和少样本识别中的泛化能力。通过使用增强的非参数记忆来扩展NCA以适应大规模数据集和深度网络，SNCA在ImageNet分类任务上达到最先进性能，并在少样本学习中显著优于参数化基线模型，展现出对未见类别的优越泛化能力。

ABSTRACT

Current major approaches to visual recognition follow an end-to-end formulation that classifies an input image into one of the pre-determined set of semantic categories. Parametric softmax classifiers are a common choice for such a closed world with fixed categories, especially when big labeled data is available during training. However, this becomes problematic for open-set scenarios where new categories are encountered with very few examples for learning a generalizable parametric classifier. We adopt a non-parametric approach for visual recognition by optimizing feature embeddings instead of parametric classifiers. We use a deep neural network to learn the visual feature that preserves the neighborhood structure in the semantic space, based on the Neighborhood Component Analysis (NCA) criterion. Limited by its computational bottlenecks, we devise a mechanism to use augmented memory to scale NCA for large datasets and very deep networks. Our experiments deliver not only remarkable performance on ImageNet classification for such a simple non-parametric method, but most importantly a more generalizable feature representation for sub-category discovery and few-shot recognition.

研究动机与目标

• 为解决参数化分类器在开放集和少样本识别场景中的局限性，即新类别仅以少量样本出现时的性能问题。
• 通过学习一种保留嵌入空间中语义邻域结构的非参数化特征嵌入，提升泛化能力。
• 将邻域成分分析（NCA）准则扩展至大规模数据集和深度神经网络，克服其原始计算瓶颈。
• 证明在学习的嵌入上使用简单的k-NN分类器，可在ImageNet和少样本基准上媲美或超越最先进参数化模型。

提出的方法

• 利用邻域成分分析（NCA）优化特征嵌入，使嵌入空间中的距离反映基于类别标签的语义相似性。
• 引入增强的非参数记忆，用于在训练期间存储和高效更新图像嵌入，避免全批量计算。
• 使用深度神经网络将输入图像映射到低维嵌入空间，以最小化NCA损失。
• 在推理时使用k-NN分类器，基于学习到的度量进行预测，无需在少样本设置中对每个任务进行微调。
• 采用小批量随机训练，每次前向传播后更新记忆，以保持数据集的完整表征。
• 通过最大化嵌入空间中最近邻的期望准确率，优化NCA目标。

实验结果

研究问题

• RQ1 非参数化度量学习方法（如NCA）能否在大规模图像分类基准（如ImageNet）上实现具有竞争力的性能？
• RQ2 通过增强记忆的NCA学习度量，是否能提升少样本和开放集识别的泛化能力？
• RQ3 在相同的训练协议下，基于学习嵌入的k-NN分类器能否在少样本学习中超越最先进参数化模型？
• RQ4 当使用外部增强记忆而非全批量计算时，NCA的可扩展性如何变化？

主要发现

• SNCA在ResNet18主干网络下于ImageNet上达到57.8%的top-1准确率，接近最先进参数化模型的性能。
• 在mini-ImageNet少样本基准上，SNCA在5-way 5-shot设置下达到72.8%的准确率，优于MAML和原型网络等先前方法。
• 在mini-ImageNet的5-way 15-shot设置下，SNCA达到44.8%的准确率，表明其在更高样本数的少样本场景中也具备强大泛化能力。
• 即使使用浅层网络，SNCA的性能也能与原型网络和关系网络相当，表明其在不同架构上的有效性。
• 模型对未见类别泛化良好，在5-way 5-shot设置下达到30.5%的top-1准确率，表明其具备出色的可迁移性。
• 消融实验表明，增强记忆机制使NCA能够有效扩展至大规模数据集和深度网络，克服了以往的计算限制。