[论文解读] Gone Fishing: Neural Active Learning with Fisher Embeddings

Jordan T. Ash, Surbhi Goel+2 more|arXiv (Cornell University)|Jun 17, 2021

Machine Learning and Algorithms参考文献 31被引用 16

一句话总结

本文提出 Bait，一种新颖的神经主动学习算法，利用费雪信息（Fisher information）选择具有信息量的样本批次进行标注。通过利用线性代数结构优化最大似然估计误差的可计算上界，Bait 在多种架构和批量大小下，在分类与回归任务中均实现了最先进性能，优于先前的 Badge 和 Coreset 等方法，同时保持理论严谨性，并在大规模场景下具备计算可行性。

ABSTRACT

There is an increasing need for effective active learning algorithms that are compatible with deep neural networks. This paper motivates and revisits a classic, Fisher-based active selection objective, and proposes BAIT, a practical, tractable, and high-performing algorithm that makes it viable for use with neural models. BAIT draws inspiration from the theoretical analysis of maximum likelihood estimators (MLE) for parametric models. It selects batches of samples by optimizing a bound on the MLE error in terms of the Fisher information, which we show can be implemented efficiently at scale by exploiting linear-algebraic structure especially amenable to execution on modern hardware. Our experiments demonstrate that BAIT outperforms the previous state of the art on both classification and regression problems, and is flexible enough to be used with a variety of model architectures.

研究动机与目标

• 为解决深度神经网络中缺乏原则性、可扩展的主动学习算法，特别是在批量处理与非凸设置下的问题。
• 弥合理论基础扎实的主动学习目标与深度学习范式中实际高性能算法之间的差距。
• 将主动学习从分类任务扩展至回归任务，因为目前此类任务中有效方法极少。
• 提供一个统一、计算上可行的框架，适用于凸与非凸模型，包括现代神经网络架构。

提出的方法

• Bait 将主动学习建模为通过费雪信息优化最大似然估计器（MLE）误差的上界，该上界源自模型的条件概率分布 p(y|x,θ)。
• 通过模型参数 θ 对对数似然函数的梯度的外积计算费雪信息矩阵，并利用低秩结构提升效率。
• 算法通过秩一更新近似费雪信息矩阵，借助贪婪优化实现高效的批量样本选择。
• 利用费雪信息矩阵的前 k 个主成分向量识别最具信息量的样本，利用适合现代硬件的线性代数结构。
• 通过将连续输出视为概率预测，将方法推广至回归任务，实现无需依赖分类特异性不确定度度量的基于费雪信息的选择。
• 支持批量与顺序主动学习，通过费雪矩阵的低秩近似实现可管理的计算复杂度。

实验结果

研究问题

• RQ1 能否使基于费雪信息的主动学习目标在过参数化的深度神经网络中具备计算可行性与有效性？
• RQ2 基于费雪信息的选择策略在性能与跨模型架构的泛化能力方面，相较于不确定性与多样性策略表现如何？
• RQ3 能否将基于费雪信息的主动学习扩展至回归任务，而现有大多数方法在该任务中表现不佳？
• RQ4 费雪信息的理论基础是否能带来在不同批量大小与数据分布下更高的鲁棒性与一致性？
• RQ5 该算法能否在保证高性能的同时，具备足够效率以实现在标签稀缺场景下的实际部署？

主要发现

• Bait 在多个分类数据集与模型架构中显著优于最先进基线方法（包括 Badge 与 Coreset），在固定标注预算下保持一致的准确率提升。
• 在回归任务中，Bait 的性能优于随机采样及其他主动学习方法，即使基线方法未针对回归任务设计。
• Bait 在不同批量大小与模型架构（包括 ResNet、MLP 与线性模型）中均保持强大性能，展现出良好的鲁棒性与泛化能力。
• 该算法计算高效，运行时间与 Coreset 相当，并因采用秩一更新与费雪矩阵的低秩近似而具备良好的可扩展性。
• Bait 在凸模型中表现优异，而其他方法如 Badge 表现欠佳，表明其具备更广泛理论与实际适用性。
• 实证结果表明，无论在非凸还是凸设置下，Bait 基于费雪信息的选择策略均比不确定性或多样性策略更具信息量，验证了其理论基础的合理性。