[论文解读] Bayesian Batch Active Learning as Sparse Subset Approximation
引入 ACS-FW，是一种贝叶斯批量主动学习方法，通过使用Frank-Wolfe优化和随机投影，用对稀疏子集近似完整数据后验来构建多样且信息丰富的批次。
Leveraging the wealth of unlabeled data produced in recent years provides great potential for improving supervised models. When the cost of acquiring labels is high, probabilistic active learning methods can be used to greedily select the most informative data points to be labeled. However, for many large-scale problems standard greedy procedures become computationally infeasible and suffer from negligible model change. In this paper, we introduce a novel Bayesian batch active learning approach that mitigates these issues. Our approach is motivated by approximating the complete data posterior of the model parameters. While naive batch construction methods result in correlated queries, our algorithm produces diverse batches that enable efficient active learning at scale. We derive interpretable closed-form solutions akin to existing active learning procedures for linear models, and generalize to arbitrary models using random projections. We demonstrate the benefits of our approach on several large-scale regression and classification tasks.
研究动机与目标
- 在标注成本高的情况下，利用大量未标记数据来提升监督模型。
- 防止批次查询高度相关性，并实现可扩展的批量主动学习。
- 为线性和 probit 模型提供闭式解见解，并通过投影为任意模型提供可泛化的方法。
提出的方法
- 将批次构造表述为对完整数据对数后验的稀疏子集近似。
- 将0-1批次选择放宽为带预算约束的非负权重向量，并在希尔伯特空间中通过Frank-Wolfe求解。
- 将 L_m(θ) 定义为每点对数似然贡献再加熵项，并优化加权和以近似完整数据池的贡献。
- 使用内积来编码数据点之间的相似性，给出两种具体选择：加权费舍尔内积和加权欧几里得内积。
- 在加权费舍尔内积下为线性和 probit 回归提供解析的闭式解。
- 通过随机特征投影将非线性模型扩展，以保持对大规模数据池的计算可扩展。
实验结果
研究问题
- RQ1所提出的 ACS-FW 方法是否能避免标准批量主动学习策略常见的高度相关的批次查询？
- RQ2在小样本情况下，ACS-FW 是否与贪心批量主动学习方法具有竞争力？
- RQ3在保持或提升性能的同时，ACS-FW 能否扩展到大规模数据集和复杂模型？
主要发现
- ACS-FW 产生覆盖数据流形的多样批次，降低查询冗余。
- 在小数据场景中，ACS-FW 优于随机分组，并且与基于最大熵的方法具有竞争力。
- 在更大规模的数据集和模型下，基于投影的 ACS-FW 可扩展到数十万级样本，并且优于随机和非概率基线，同时达到或超过具有竞争力的批量主动学习方法。
- 线性和 probit 模型的解析表达揭示了与现有 AL 方法的联系以及直观的杠杆量等价。
- 随机投影实现对任何可处理的似然的模型不可知、可扩展的批次构造近似。
- 对回归和分类任务的实证结果显示数据高效学习和可扩展的运行时性能。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。