[论文解读] Improved Algorithms for Neural Active Learning

Yikun Ban, Yuheng Zhang+3 more|arXiv (Cornell University)|Oct 2, 2022

Machine Learning and Algorithms被引用 4

一句话总结

该论文提出 I-NeurAL，一种新颖的神经主动学习算法，通过引入基于总体损失的新 regret 指标，改进了 regret 边界，利用完整反馈和 warm-start 小批量 SGD 提升效率，并实现了无维度灾难的实例相关 regret。在硬边缘条件下，其性能匹配贝叶斯最优水平，并在多个数据集上实证表现优于 SOTA 基线。

ABSTRACT

We improve the theoretical and empirical performance of neural-network(NN)-based active learning algorithms for the non-parametric streaming setting. In particular, we introduce two regret metrics by minimizing the population loss that are more suitable in active learning than the one used in state-of-the-art (SOTA) related work. Then, the proposed algorithm leverages the powerful representation of NNs for both exploitation and exploration, has the query decision-maker tailored for $k$-class classification problems with the performance guarantee, utilizes the full feedback, and updates parameters in a more practical and efficient manner. These careful designs lead to an instance-dependent regret upper bound, roughly improving by a multiplicative factor $O(\log T)$ and removing the curse of input dimensionality. Furthermore, we show that the algorithm can achieve the same performance as the Bayes-optimal classifier in the long run under the hard-margin setting in classification problems. In the end, we use extensive experiments to evaluate the proposed algorithm and SOTA baselines, to show the improved empirical performance.

研究动机与目标

• 为解决神经主动学习中缺乏理论性能保证的问题，特别是在非参数流式设置下。
• 克服先前工作的局限，如依赖伪 regret 指标以及通过随机重新初始化导致的低效训练。
• 消除 regret 边界中输入维度 $d$ 和有效维度 $\widetilde{d}$ 的维度灾难。
• 设计一种实用且高效的算法，利用 warm-start 小批量 SGD 和完整反馈以提升泛化能力。
• 在硬边缘假设下，实现与贝叶斯最优分类器相当的性能。

提出的方法

• 提出两种基于最小化总体损失的新 regret 指标，直接反映泛化能力。
• 设计一种神经探索策略，配备针对 $k$ 类分类的查询决策机制，并具备理论性能保证。
• 通过使用所有可用标签更新模型参数，实现完整反馈，提升学习效率。
• 采用 warm-start 小批量 SGD，从上一轮的参数初始化，以提高训练效率和收敛性。
• 提供一种实例相关 regret 上界，相比之前工作改进了乘法因子 $O(\log T)$，并消除了对 $d$ 和 $\widetilde{d}$ 的依赖。
• 理论上证明，在硬边缘条件下，模型在 $\mathcal{O}(\log T)$ 次查询后可达到贝叶斯最优性能。

实验结果

研究问题

• RQ1 我们能否在神经主动学习中设计出直接反映泛化性能而非依赖伪 regret 的 regret 指标？
• RQ2 如何在保持理论保证的前提下提升神经主动学习中的训练效率？
• RQ3 能否消除过参数化神经网络 regret 边界中的维度灾难？
• RQ4 所提出的算法在现实数据假设下是否能达到与贝叶斯最优分类器相当的性能？
• RQ5 在不同标签预算和真实世界数据分布下，该算法的实证表现如何？

主要发现

• I-NeurAL 的 regret 边界相比先前工作改进了乘法因子 $O(\log T)$，且不依赖于输入维度 $d$ 或有效维度 $\widetilde{d}$。
• 在 Phishing 数据集上，标签预算为 3% 时，I-NeurAL 达到 94.22% 的测试准确率，优于次佳方法（Margin 为 93.46%），显著超过 NeuAL-NTK-F（54.69%）。
• 在 10% 标签预算下，I-NeurAL 在 Phishing 上达到 95.64% 准确率，在 IJCNN 上为 97.90%，在 Fashion MNIST 上为 99.30%，均超过所有基线方法。
• 在 CIFAR-10 上，标签预算为 50% 时，I-NeurAL 达到 92.30% 准确率，优于 ALPS（90.85%）和 NeuAL-NTK-D（90.55%）。
• 敏感性分析表明，$\gamma = 6$ 或 $7$ 时性能最优，平衡了查询效率与模型置信度。
• 消融研究证实，I-NeurAL 在所有标签预算水平（3%、10%、20%、50%）下均保持优越性能，尤其在低预算条件下表现更优。