[论文解读] Active Learning with Logged Data

Songbai Yan, Kamalika Chaudhuri+1 more|arXiv (Cornell University)|Feb 25, 2018

Machine Learning and Algorithms参考文献 38被引用 9

一句话总结

该论文提出了一种新颖的主动学习框架，将固定日志策略下收集的已记录数据与战略性在线标注相结合，以提升在完整数据集上的分类器性能。通过整合多重重要性采样、去偏查询策略以及从已记录数据获得的热启动，该方法在标签复杂度更低的同时实现了更高的准确率，相较于标准主动学习方法在多种数据集和日志策略下均展现出理论一致性与实证验证。

ABSTRACT

We consider active learning with logged data, where labeled examples are drawn conditioned on a predetermined logging policy, and the goal is to learn a classifier on the entire population, not just conditioned on the logging policy. Prior work addresses this problem either when only logged data is available, or purely in a controlled random experimentation setting where the logged data is ignored. In this work, we combine both approaches to provide an algorithm that uses logged data to bootstrap and inform experimentation, thus achieving the best of both worlds. Our work is inspired by a connection between controlled random experimentation and active learning, and modifies existing disagreement-based active learning algorithms to exploit logged data.

研究动机与目标

• 解决由于非均匀日志策略导致偏差的已记录数据中学习准确分类器的挑战。
• 通过利用已记录数据减少昂贵的在线标签查询次数，提升样本效率。
• 开发一种结合已记录数据与主动学习优势的方法，避免忽略已记录数据或完全依赖随机实验所带来的低效问题。
• 与基于已记录数据热启动的标准主动学习相比，确保统计一致性并降低标签复杂度。

提出的方法

• 该方法使用多重重要性采样估计器对已记录数据进行重加权，以校正日志策略引入的偏差。
• 提出一种新颖的去偏查询策略，避免对已记录数据中已充分表示的样本重复查询，从而减少冗余查询。
• 该算法将已记录数据的热启动与基于分歧的主动学习相结合，利用代理损失优化实现计算效率。
• 采用在线梯度下降并共享学习率，以近似动态更新假设集上的经验风险最小化。
• 使用近似分歧测试识别需要查询的不确定区域，基于模型容量和置信度边界。
• 假设日志策略 $ Q_0 $ 已知，从而可通过逆概率加权校正已记录数据中的选择偏差。

实验结果

研究问题

• RQ1 是否可以有效利用已记录数据来减少主动学习中的标签查询次数？
• RQ2 如何通过避免对已记录数据过度采样的去偏查询策略来提升样本效率？
• RQ3 将已记录数据与主动学习结合是否能实现比标准主动学习（采用热启动）更低的标签复杂度？
• RQ4 所提出的方法在不同日志策略和数据集上是否具有统计一致性与鲁棒性？

主要发现

• 在所有评估的数据集和日志策略下，所提方法的测试误差均低于基线主动学习，尤其在合成数据、字母识别和magic数据集上表现显著提升。
• 在covtype和mushrooms数据集上，该方法与最佳基线表现相当，表明其在高维和不平衡数据上的鲁棒性。
• 该方法通过战略性地避免对已记录数据中已充分表示的实例进行查询，显著降低了标签复杂度，实现了更高效的模型学习。
• 实证结果证实，多重重要性采样、去偏策略与热启动的结合带来了性能提升，误差曲线始终优于或匹配基线。
• 理论分析证明该方法具有统计一致性，其标签复杂度有界且优于基于热启动的标准主动学习。