[论文解读] Average-Case Active Learning with Costs

Andrew Guillory, Jeff Bilmes|ArXiv.org|May 18, 2009

Machine Learning and Algorithms参考文献 9被引用 16

一句话总结

本文提出了一种针对任意查询成本的平均情况主动学习通用框架，将贪心主动学习扩展至非均匀成本、多分类和部分标签，以及批量查询场景。证明了成本敏感的贪心算法可对最优期望成本提供常数因子近似，推广了主动学习、信息检索和压缩应用中的结果。

ABSTRACT

We analyze the expected cost of a greedy active learning algorithm. Our analysis extends previous work to a more general setting in which different queries have different costs. Moreover, queries may have more than two possible responses and the distribution over hypotheses may be non uniform. Specific applications include active learning with label costs, active learning for multiclass and partial label queries, and batch mode active learning. We also discuss an approximate version of interest when there are very many queries.

研究动机与目标

• 将贪心主动学习扩展至查询成本非均匀的场景，包括标签成本、部分标签查询以及批量查询。
• 在一般查询成本模型下，分析主动学习的平均情况期望成本。
• 为贪心算法在最小化各类应用中期望成本方面的性能建立理论保证。
• 在统一的成本最小化框架下，整合主动学习、信息检索与压缩。

提出的方法

• 将主动学习形式化为一种提问游戏，其中每个假设（对象）通过一系列具有关联成本的查询来识别。
• 将问题建模为构建查询树，其中每个内部节点代表一个查询，每条从根到叶的路径对应一个唯一假设。
• 采用贪心策略，在每一步选择能最小化期望成本减少的查询，基于当前假设后验分布。
• 应用舍入技术，将线性规划得到的分数解转换为有效的查询树，确保常数因子近似。
• 将分析推广至处理假设上的非均匀先验分布以及任意查询成本结构。
• 推导出自顶向下贪心编码构造和搜索树的期望成本界限，证明在一般分割规则下的近似保证。

实验结果

研究问题

• RQ1 当查询具有任意非均匀成本时，贪心主动学习算法能否实现对最优期望成本的常数因子近似？
• RQ2 在多分类标签、部分标签查询或批量查询场景下，贪心算法的性能如何扩展？
• RQ3 贪心主动学习的理论保证能否扩展至非均匀先验分布和一般成本结构？
• RQ4 在不同应用中，贪心算法在期望码长和搜索时间方面的近似比是多少？

主要发现

• 贪心算法对最优期望成本实现了常数因子近似，近似比取决于查询成本结构，但不依赖于假设数量。
• 通过将多分类和部分标签查询建模为响应成本可变的查询，该框架可推广至这些场景。
• 在批量模式主动学习中，只要成本被正确建模，贪心策略的性能近似于任何其他确定性批量查询策略。
• 在信息检索中，贪心查询树构造生成的搜索结构，其期望搜索时间在最优值的常数因子范围内。
• 在压缩中，自顶向下的贪心码构造实现的期望码长在最优值的常数因子范围内，推广了先前的界限。
• 分析表明，即使在非均匀先验和任意查询成本下，贪心方法仍保持强大的理论性能保证。