[论文解读] Generalization Properties of Retrieval-based Models

Soumya Basu, Ankit Singh Rawat+1 more|arXiv (Cornell University)|Oct 6, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文对基于检索的分类模型进行了理论分析，提出了一种局部经验风险最小化（local ERM）框架，该框架利用检索到的训练样本为每个输入训练简单、低复杂度的模型。在局部正则性假设下，此类模型仅需极少的参数容量即可实现优异的泛化性能，在 ImageNet 上使用仅 4.01M 参数的小型 MobileNet-V3 模型即取得优于标准模型的性能，且准确率具有竞争力。

ABSTRACT

Many modern high-performing machine learning models such as GPT-3 primarily rely on scaling up models, e.g., transformer networks. Simultaneously, a parallel line of work aims to improve the model performance by augmenting an input instance with other (labeled) instances during inference. Examples of such augmentations include task-specific prompts and similar examples retrieved from the training data by a nonparametric component. Remarkably, retrieval-based methods have enjoyed success on a wide range of problems, ranging from standard natural language processing and vision tasks to protein folding, as demonstrated by many recent efforts, including WebGPT and AlphaFold. Despite growing literature showcasing the promise of these models, the theoretical underpinning for such models remains underexplored. In this paper, we present a formal treatment of retrieval-based models to characterize their generalization ability. In particular, we focus on two classes of retrieval-based classification approaches: First, we analyze a local learning framework that employs an explicit local empirical risk minimization based on retrieved examples for each input instance. Interestingly, we show that breaking down the underlying learning task into local sub-tasks enables the model to employ a low complexity parametric component to ensure good overall accuracy. The second class of retrieval-based approaches we explore learns a global model using kernel methods to directly map an input instance and retrieved examples to a prediction, without explicitly solving a local learning task.

研究动机与目标

• 理解基于检索模型的理论基础，这些模型结合了参数学习与非参数学习，但缺乏正式的分析。
• 研究通过检索相似训练样本如何提升分类任务中的泛化性能。
• 形式化局部学习通过检索样本实现强性能的条件。
• 在包括 CIFAR-10 和 ImageNet 在内的多种数据集上，将局部 ERM 与全局模型及 kNN 基线进行比较。

提出的方法

• 提出局部 ERM 框架：对每个测试输入，检索附近的训练样本，并仅使用这些样本训练一个局部模型。
• 在局部正则性假设下，推导出平衡模型复杂度与邻域大小的有限样本泛化界。
• 在检索到的集合上使用核方法和参数模型（线性、MLP、多项式、RBF）作为局部预测器。
• 在输入空间或嵌入空间中使用 L2 距离进行检索，对高维数据使用无监督特征（如 ALIGN）。
• 在大规模设置中，对小型模型（如 MobileNet-V3）使用 Adam 优化器进行微调，以实现局部 ERM。
• 在 ImageNet、CIFAR-10 和合成数据上，将性能与标准 ERM、kNN 及 SoTA 模型进行比较。

实验结果

研究问题

• RQ1 检索邻域的大小如何影响局部 ERM 模型的泛化性能？
• RQ2 在何种条件下，通过检索实现的局部学习优于全局参数学习？
• RQ3 当仅在检索到的样本上训练时，低复杂度参数模型能否实现高准确率？
• RQ4 全局表征（如 ALIGN）在提升局部 ERM 性能中起到什么作用？
• RQ5 在基于检索的学习中，近似误差与泛化误差之间的权衡如何体现？

主要发现

• 在 ImageNet 上，使用局部 ERM 训练的小型 MobileNet-V3 模型（4.01M 参数）达到 82.78% 的 top-1 准确率，显著优于全局训练的同一模型（65.80%）。
• 局部 ERM 方法在模型规模和计算成本大幅降低的情况下，实现了与 SoTA ViT-G/14 模型（90.45% top-1 准确率）相当的性能（82.78%）。
• 在 CIFAR-10 上，性能在中等邻域大小时达到峰值，证实了泛化误差（小集合）与近似误差（大集合）之间的权衡。
• 使用全局表征（ALIGN 嵌入）使一个简单的线性模型在性能上超越了直接在原始图像输入上训练的更复杂 MobileNet-V3 模型。
• 有限样本泛化界表明，在邻域较小且具代表性时，局部正则性允许低复杂度模型实现良好泛化。
• 结果验证了基于检索的模型可通过隐式执行低参数容量的局部学习实现高性能。