[论文解读] It's DONE: Direct ONE-shot learning with quantile weight imprinting

Kazufumi Hosoda, Keigo Nishida+4 more|arXiv (Cornell University)|Apr 28, 2022

Neural Networks and Applications被引用 5

一句话总结

本文提出 DONE（直接一次学习量化权重印记），一种简单、非参数化的方法，无需微调或修改主干网络，即可将新类别添加到预训练的深度神经网络分类器中。它直接使用单张新类别图像的最终层激活作为经过分位数归一化后的突触权重向量，通过利用赫布型学习原理并最小化对原始类别的干扰，实现了出色的零样本分类性能。

ABSTRACT

Learning a new concept from one example is a superior function of the human brain and it is drawing attention in the field of machine learning as a one-shot learning task. In this paper, we propose one of the simplest methods for this task with a nonparametric weight imprinting, named Direct ONE-shot learning (DONE). DONE adds new classes to a pretrained deep neural network (DNN) classifier with neither training optimization nor pretrained-DNN modification. DONE is inspired by Hebbian theory and directly uses the neural activity input of the final dense layer obtained from data that belongs to the new additional class as the synaptic weight with a newly-provided-output neuron for the new class, transforming all statistical properties of the neural activity into those of synaptic weight by quantile normalization. DONE requires just one inference for learning a new concept and its procedure is simple, deterministic, not requiring parameter tuning and hyperparameters. DONE overcomes a severe problem of existing weight imprinting methods that DNN-dependently interfere with the classification of original-class images. The performance of DONE depends entirely on the pretrained DNN model used as a backbone model, and we confirmed that DONE with current well-trained backbone models perform at a decent accuracy.

研究动机与目标

• 开发一种最小化、确定性的零样本学习方法，无需微调或架构更改即可将新类别添加到预训练的深度神经网络中。
• 解决现有权重印记方法中严重的干扰问题，该问题会降低原始类别的分类准确率。
• 通过基于赫布思想的权重印记与通过分位数归一化建模的物理约束，实现在推理阶段直接添加类别。
• 在标准少样本基准（如 CIFAR-FS 和 CUB-200-2011）上，评估该方法在多种主干模型（如 ViT、EfficientNet、ResNet）上的性能表现。
• 证明 DONE 的性能完全依赖于主干深度神经网络的质量，无需优化即可实现最先进性能。

提出的方法

• DONE 将单张新类别图像的最终全连接层激活向量（x）直接映射为新增输出神经元的新权重向量（w_cat）。
• 该方法对 x 应用分位数归一化，以将其统计分布转换为与突触权重一致的分布，确保与现有权重分布的兼容性。
• 新权重向量 w_cat 定义为 w_cat = Δw_cat ∝ x · y_cat，其中 y_cat = 1 表示新类别，其余类别为 0，遵循赫布学习规则。
• 主干深度神经网络保持不变；仅通过增加对应于新类别的新行来扩展最终分类器层。
• 分位数归一化确保新印记的权重具有与原始权重相似的统计特性（如尺度、形状），从而减少分布偏移和干扰。
• 整个过程每新增一个类别仅需一次前向传播（推理），因此具有确定性、高效且无需超参数调节的特点。

实验结果

研究问题

• RQ1 能否设计一种零样本学习方法，在无需任何训练或超参数调优的情况下将新类别添加到预训练的深度神经网络中？
• RQ2 如何使权重印记对神经激活与突触权重之间的分布偏移具有鲁棒性，以防止对原始类别的干扰？
• RQ3 基于赫布思想的非参数化方法结合分位数归一化，是否在准确率和干扰控制方面优于现有权重印记方法？
• RQ4 DONE 在不同主干架构（如 ViT、EfficientNet、ResNet）上的少样本学习基准中性能表现如何？
• RQ5 DONE 的性能在多大程度上依赖于主干深度神经网络的质量？其性能是否可在无需优化的情况下达到竞争力？

主要发现

• 当使用 ViT 作为主干时，DONE 在 CIFAR-FS 数据集上的 5 类 1 样本准确率显著高于 Qi 的方法，且差异具有统计学意义（p < 0.05）。
• 在 CUB-200-2011 数据集上，DONE 在将 100 个新类别添加到 1000 类 ImageNet 模型后，实现了 78.3% 的 top-1 准确率，展现出强大的零样本泛化能力。
• 分位数归一化有效对齐了新权重与原始权重的统计分布，减少了干扰，并保持了原始类别的高准确率。
• 在分布分析中（图 4），DONE 将大部分 ImageNet 分布的权重保留在原始权重簇内，而 Qi 的方法在 EfficientNet 上引发了显著的分布偏移。
• ViT 在所有设置下均优于基于 CNN 的主干网络（如 EfficientNet、ResNet），且 DONE 在 ViT 上实现的性能无需优化即达到最先进水平。
• 即使在添加 8 至 100 个新类别后，该方法在原始类别上也未出现性能下降，证实了由于分位数归一化带来的极小干扰。