[论文解读] Few-Shot Learning Through an Information Retrieval Lens

Eleni Triantafillou, Richard S. Zemel+1 more|arXiv (Cornell University)|Jul 9, 2017

Domain Adaptation and Few-Shot Learning参考文献 22被引用 66

一句话总结

该论文将少样本学习重新表述为信息检索任务，并在所有批次排序上使用 SSVM 或直接损失最小化来最大化平均精确度均值（mAP），实现了具有竞争力的少样本分类并引入了一个少样本检索设置。

ABSTRACT

Few-shot learning refers to understanding new concepts from only a few examples. We propose an information retrieval-inspired approach for this problem that is motivated by the increased importance of maximally leveraging all the available information in this low-data regime. We define a training objective that aims to extract as much information as possible from each training batch by effectively optimizing over all relative orderings of the batch points simultaneously. In particular, we view each batch point as a `query' that ranks the remaining ones based on its predicted relevance to them and we define a model within the framework of structured prediction to optimize mean Average Precision over these rankings. Our method achieves impressive results on the standard few-shot classification benchmarks while is also capable of few-shot retrieval.

研究动机与目标

• 动机：以充分利用批次信息的方式，使用极少数带标签示例来学习新概念。
• 目标：将少样本学习表述为跨批次点的排序，以最大化 mAP。
• 做法：在每个训练批次中对所有相对排序进行优化，使用结构化 SVM（SSVM）和直接损失最小化（Direct Loss Minimization）。
• 拓展：引入一个少样本检索任务，在该任务中，一个查询按相关性对来自未见类别的候选项进行排序。

提出的方法

• 将每个批次成员表示为一个查询，根据预测相关性对批次中的其他点进行排序。
• 采用结构化预测框架并优化平均精度均值（mAP）。
• 使用两种优化变体：结构化 SVM（SSVM）和直接损失最小化（DLM）。
• 定义基于余弦相似度的嵌入函数 f(x,w) 和成对评分函数 φ(xi,xj,w)。
• 将 AP 优化扩展到按批次的多查询设置，使得每个批次独立地对整体 mAP 目标做出贡献。
• 提供通过动态规划实现的损失增强推理，灵感来自先前的 AP 优化工作。

实验结果

研究问题

• RQ1 在批次设置中，信息检索目标（mAP）是否能够有效地为少样本学习进行优化？
• RQ2 在一个批次内对所有相对排序进行优化是否能产生具有竞争力的少样本分类性能？
• RQ3 同一框架能否支持一个新的少样本检索任务，其中查询来自未见过的类别？
• RQ4 在实际中，SSVM 与直接损失最小化在该目标上的权衡是什么？

主要发现

• 提议的基于 mAP 的训练目标在标准少样本分类基准上取得了具有竞争力的结果。
• 该方法支持一个新的少样本检索任务，并在强基线对比中具有竞争力的表现。
• 在每个批次内对所有相对排序进行优化可以通过并行分解逐查询排序高效地完成。
• mAP-DLM 与 mAP-SSVM 在评估基准上的性能相似，在某些设置下观察到训练效率的优势。
• 与强大的全对 Siamese 基线相比，该方法在数据较少时表现出更快的学习速度和更好的效率。