[论文解读] Laplacian Regularized Few-Shot Learning

Imtiaz Masud Ziko, José Dolz+2 more|arXiv (Cornell University)|Jun 28, 2020

Domain Adaptation and Few-Shot Learning被引用 56

一句话总结

这篇论文提出 LaplacianShot，一种传导式少样本学习方法，在查询-标签分配上最小化一个 Laplacian 正则化的二次目标函数，利用基类原型和基于相似度的成对项来提高准确性，同时不重新训练基础模型。

ABSTRACT

We propose a transductive Laplacian-regularized inference for few-shot tasks. Given any feature embedding learned from the base classes, we minimize a quadratic binary-assignment function containing two terms: (1) a unary term assigning query samples to the nearest class prototype, and (2) a pairwise Laplacian term encouraging nearby query samples to have consistent label assignments. Our transductive inference does not re-train the base model, and can be viewed as a graph clustering of the query set, subject to supervision constraints from the support set. We derive a computationally efficient bound optimizer of a relaxation of our function, which computes independent (parallel) updates for each query sample, while guaranteeing convergence. Following a simple cross-entropy training on the base classes, and without complex meta-learning strategies, we conducted comprehensive experiments over five few-shot learning benchmarks. Our LaplacianShot consistently outperforms state-of-the-art methods by significant margins across different models, settings, and data sets. Furthermore, our transductive inference is very fast, with computational times that are close to inductive inference, and can be used for large-scale few-shot tasks.

研究动机与目标

• 阐述在不重新训练基础模型的前提下实现有效的传导推理以应对少样本分类的需求。
• 同时利用一元项（基于原型）和成对项（Laplacian）势来提升查询-标签的一致性。
• 给出一个计算高效的界约优化算法，具备封闭形式、并行更新和保证收敛。
• 在五个基准数据集、使用不同骨干网络的设置下展示出显著的经验性能，体现鲁棒性和可扩展性。

提出的方法

• 对查询-标签分配 Y 形式化一个带拉普拉斯正则化的二次目标函数，该函数结合最近原型的一元项和成对的 Laplacian 项。
• 将二进制整数约束放宽为凹放松，并通过引入负熵屏障来实现封闭形式的并行更新。
• 推导一个界优化（类似 MM/CCCP）的更新，其中每个查询点 y_q 通过对 a_q 和 b_q^i 的 softmax（方程 Eq. 12）独立更新。
• 从到原型的距离 m_c 计算 a_q，从图相似性 w(x_q, x_p) 和当前标签得到 b_q^i；确保更新收敛（界的单调递减）。
• 解释将拉普拉斯正则化与非参数注意力联系起来，指出与标准元学习基于注意力的不同之处。
• 注：W 使用 k 最近邻相似性；lambda 控制一元项和 Laplacian 项之间的权衡。

实验结果

研究问题

• RQ1 带有拉普拉斯正则化的传导推理是否能在不重新训练基础模型的情况下提升少样本分类的性能？
• RQ2 引入成对的查询-查询相似性如何补充一元原型项，以在不同数据集和骨干网络上提升准确性？
• RQ3 在实际大规模任务中，所提出的界优化拉普拉斯正则化推理的计算成本和收敛行为如何？
• RQ4 整流原型和特征变换如何与拉普拉斯正则化相互作用以影响性能？

主要发现

方法	网络	Mini ImageNet 1-shot	Mini ImageNet 5-shot	Tiered ImageNet 1-shot	Tiered ImageNet 5-shot
LaplacianShot (ours)	ResNet-18	72.11 ± 0.19	82.31 ± 0.14	78.98 ± 0.21	86.39 ± 0.16

• LaplacianShot 在五个基准和各种网络上持续优于最先进的方法。
• 传导推理速度很快，接近归纳推理的时间，使大规模少样本任务成为可能。
• 该方法在简单的基础训练（交叉熵）且无需复杂元学习的情况下取得了强劲结果。
• 使用基于 kNN 的亲和性和所提出的界优化实现了独立的并行更新并且保证收敛。
• 整流原型在若干基准上可以进一步提升性能（在 iNat 上可能会适得其反） 。
• 实证结果表明拉普拉斯正则化在最近原型分类（lambda=0）之上的进一步提升具有实际意义。