[论文解读] Auditing: Active Learning with Outcome-Dependent Query Costs

Sivan Sabato, Anand D. Sarwate+1 more|arXiv (Cornell University)|Jun 10, 2013

Machine Learning and Algorithms参考文献 24被引用 3

一句话总结

本文提出了「审计」（auditing）——一种新颖的主动学习框架，其中标注成本取决于标签结果，具体而言仅对负样本标签产生成本。作者设计了适用于阈值和矩形假设类的算法，其审计复杂度显著低于标准主动学习，证明了结果依赖成本可使欺诈检测等场景下的学习更加高效。

ABSTRACT

We propose a learning setting in which unlabeled data is free, and the cost of a label depends on its value, which is not known in advance. We study binary classification in an extreme case, where the algorithm only pays for negative labels. Our motivation are applications such as fraud detection, in which investigating an honest transaction should be avoided if possible. We term the setting auditing, and consider the auditing complexity of an algorithm: the number of negative labels the algorithm requires in order to learn a hypothesis with low relative error. We design auditing algorithms for simple hypothesis classes (thresholds and rectangles), and show that with these algorithms, the auditing complexity can be significantly lower than the active label complexity. We also discuss a general competitive approach for auditing and possible modifications to the framework.

研究动机与目标

• 解决机器学习中的标注成本问题，其中成本取决于标签结果，特别是当负样本标签成本较高时。
• 通过现实应用（如欺诈检测）来激励该框架，其中调查正常（负样本）交易会产生可避免的成本。
• 提出一种新的学习设定——「审计」，仅负样本标签产生成本，并将审计复杂度定义为达到低误差所需查询的负样本标签数量。
• 分析并比较审计复杂度与标准主动学习的标注复杂度，表明成本可显著降低。
• 为简单假设类（阈值和矩形）设计并评估审计算法，并提出一种通用的竞争分析框架。

提出的方法

• 定义审计设定：未标注数据免费，仅负样本标签产生成本，以建模欺诈检测等场景。
• 引入审计复杂度，即算法为达到相对于最优假设的低误差而必须查询的负样本标签数量。
• 针对阈值和矩形假设类，设计特定的审计算法，利用适应结果依赖成本的主动学习原则。
• 使用竞争分析，将贪心算法的审计复杂度与最优算法进行比较，证明其对数近似因子。
• 通过版本空间缩减和成本感知查询选择，最小化负样本标签查询次数，同时保持假设准确性。
• 证明贪心审计算法的审计成本在最优成本的 $ (\ln(|\mathcal{H}|-1) + 1) \cdot \mathrm{OPT} $ 范围内，其中 $ \mathrm{OPT} $ 为可能的最小审计成本。

实验结果

研究问题

• RQ1 在仅负样本标签产生成本的场景下，审计复杂度是否可显著低于标准主动学习的标注复杂度？
• RQ2 最优主动学习算法是否本质上具有低审计复杂度，还是需要专门的审计算法？
• RQ3 如何为任意假设类构建通用的竞争分析框架以支持审计？
• RQ4 贪心审计算法相对于最优算法的理论最坏情况性能保证是什么？
• RQ5 假设类结构（如阈值、矩形）在多大程度上可被利用以最小化负样本标签查询？

主要发现

• 对于阈值和矩形假设类，所提出的审计算法实现的审计复杂度显著低于标准主动学习的标注复杂度。
• 贪心审计算法的审计成本在最优成本的 $ \ln(|\mathcal{H}|-1) + 1 $ 倍范围内，证明了对数竞争比。
• 在实践中，审计复杂度可大幅降低，尤其当正样本标签比例较小时，这是由于避免了负样本标签查询。
• 该框架表明，结果依赖成本要求重新思考主动学习策略，因为标准算法可能无法最小化审计成本。
• 理论界表明，即使在最坏情况下，贪心审计算法的性能也仅比最优策略差一个对数因子。
• 结果表明，审计不仅是主动学习的变体，而是一种需要专门算法以在结果依赖标注成本下最小化成本的独立设定。