[论文解读] 'Less Than One'-Shot Learning: Learning N Classes From M<N Samples

Ilia Sucholutsky, Matthias Schonlau|arXiv (Cornell University)|Sep 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用 27

一句话总结

本文提出了“少于一 Shot”学习（LO-shot），即从 M < N 个软标签原型中学习 N 个类别。通过使用基于距离加权的 k-最近邻分类器（结合软标签），作者证明了决策边界可仅用两个原型就分离任意有限数量的类别，其样本效率远超硬标签方法，且将最小原型需求从 O(N²) 降低至 O(1)。

ABSTRACT

Deep neural networks require large training sets but suffer from high computational cost and long training times. Training on much smaller training sets while maintaining nearly the same accuracy would be very beneficial. In the few-shot learning setting, a model must learn a new class given only a small number of samples from that class. One-shot learning is an extreme form of few-shot learning where the model must learn a new class from a single example. We propose the `less than one'-shot learning task where models must learn $N$ new classes given only $M<N$ examples and we show that this is achievable with the help of soft labels. We use a soft-label generalization of the k-Nearest Neighbors classifier to explore the intricate decision landscapes that can be created in the `less than one'-shot learning setting. We analyze these decision landscapes to derive theoretical lower bounds for separating $N$ classes using $M<N$ soft-label samples and investigate the robustness of the resulting systems.

研究动机与目标

• 建立从少于 N 个训练样本中学习 N 个类别的理论可行性。
• 研究软标签如何在极端低样本设置下实现有效的决策边界构造。
• 分析在 LO-shot 约束下所形成的决策边界的鲁棒性与稳定性。
• 证明软标签原型可显著减少相比硬标签方法所需的训练样本数量。
• 为低数据环境下数据集压缩与原型生成提供理论基础。

提出的方法

• 提出 k-最近邻分类器的软标签泛化方法（SLaPkNN），采用基于距离加权的投票机制，并结合概率标签分布。
• 利用软标签编码部分类别隶属关系，使每个原型可同时参与多个类别边界的构建。
• 通过几何与概率分析，推导出使用 M < N 个软标签原型分离 N 个类别的理论下界。
• 通过扰动原型位置与软标签，分析决策边界的鲁棒性，测量风险梯度与类内风险行为。
• 以同心圆为例，对比硬标签与软标签原型生成方法，结果表明软标签表现更优。
• 采用反距离加权与软标签融合技术计算类别概率，实现仅用最少原型即可完成多类别分离。

实验结果

研究问题

• RQ1 是否可在决策空间中使用 M < N 个软标签原型分离 N 个类别？
• RQ2 分离 N 个类别所需的软标签原型数量的理论下界是什么？
• RQ3 在原型位置与标签发生扰动时，LO-shot 决策边界的鲁棒性如何变化？
• RQ4 在结构化数据中，软标签原型能否将所需原型的最小数量从 O(N²) 降低至 O(1)？
• RQ5 与硬标签原型相比，软标签在原型基分类中如何提升样本效率？

主要发现

• 仅用两个软标签原型训练的单一 SLaPkNN 分类器，即可将决策空间划分为任意有限数量的类别。
• 理论分析表明，软标签原型可在 M < N 个样本下实现 N 个类别的完美分离，突破了经典直觉。
• 鲁棒性分析显示，经过精心调校的原型配置可稳定决策边界，并最小化类内风险波动。
• 在同心圆案例研究中，软标签原型将所需原型的最小数量从 O(N²) 降低至 O(1)，五个原型成功分离六个类别。
• 该方法展现出极高的样本效率：在 MNIST 上仅用五个软标签原型训练，即可实现超过 90% 的准确率，证明了 LO-shot 学习的可行性。
• 软标签 SLaPkNN 在几何保真度方面优于硬标签 kNN，生成的决策边界平滑且呈椭圆状，更贴合数据内在结构。