[论文解读] Active Learning in the Overparameterized and Interpolating Regime

Mina Karzand, Robert D. Nowak|arXiv (Cornell University)|May 29, 2019

Machine Learning and Algorithms参考文献 7被引用 10

一句话总结

本文提出了一种新颖的主动学习框架，利用过参数化核基模型中的最小范数插值器。通过利用隐式归纳偏置以实现泛化，该方法自动识别出具有信息量且能代表聚类结构的样本，并排除不兼容的假设，在无需显式聚类或不确定性采样的情况下，在核方法和神经网络实验中均取得了优异性能。

ABSTRACT

Overparameterized models that interpolate training data often display surprisingly good generalization properties. Specifically, minimum norm solutions have been shown to generalize well in the overparameterized, interpolating regime. This paper introduces a new framework for active learning based on the notion of minimum norm interpolators. We analytically study its properties and behavior in the kernel-based setting and present experimental studies with kernel methods and neural networks. In general, active learning algorithms adaptively select examples for labeling that (1) rule-out as many (incompatible) classifiers as possible at each step and/or (2) discover cluster structure in unlabeled data and label representative examples from each cluster. We show that our new active learning approach based on a minimum norm heuristic automatically exploits both these strategies.

研究动机与目标

• 解决过参数化模型中主动学习的挑战，这些模型插值训练数据但依然能泛化良好。
• 利用最小范数解的隐式归纳偏置来指导样本选择，而无需显式使用不确定性或多样性启发式方法。
• 开发一种理论基础扎实的主动学习方法，同时利用假设消除与聚类发现策略。
• 在核方法与深度神经网络中均证明基于最小范数的选择策略的有效性。
• 在核框架下提供对最小范数插值器在主动学习设置中行为的分析性见解。

提出的方法

• 将主动学习形式化为在再生核希尔伯特空间（RKHS）中由最小范数插值器引导的选择过程。
• 使用插值器对偶表示的范数对未标记样本进行排序以决定标注优先级。
• 选择那些预测置信度高且最能降低解范数的样本，暗示更好的泛化性能。
• 将最小范数启发式方法集成到主动学习循环中，迭代选择最具信息量的样本。
• 通过偏好特征空间中不同数据区域的代表性样本，隐式发现聚类结构。
• 在核范式下进行理论分析，以刻画最小范数插值器在主动采样下的行为。

实验结果

研究问题

• RQ1 在过参数化模型中，最小范数插值器如何在不使用显式不确定性或多样性标准的情况下引导有效的主动学习？
• RQ2 最小范数启发式方法在多大程度上能自动发现未标记数据中的潜在聚类结构？
• RQ3 基于最小范数的选择策略是否能同时减少假设空间并识别出各聚类中的代表性样本？
• RQ4 该方法在核方法与神经网络设置下与标准主动学习基线相比表现如何？
• RQ5 在核范式下，最小范数插值器在主动采样下的理论性质是什么？

主要发现

• 基于最小范数插值器的主动学习方法通过从每个聚类中选择代表性样本，自动发现未标记数据中的聚类结构。
• 该方法通过选择最能有效约束解空间的样本，同时剪除不兼容的假设。
• 实验结果表明，该方法在核方法与深度神经网络中均表现优异，优于标准的不确定性与多样性基线方法。
• 在核范式下的理论分析证实，最小范数启发式方法在主动采样下可产生稳定且可泛化的解。
• 通过利用最小范数解的归纳偏置，该方法在较少标注样本下即可实现高准确率。
• 选择过程具有鲁棒性，无需对不确定性或多样性进行超参数调优，从而简化了部署。