[论文解读] Active Learning with Expert Advice

Peilin Zhao, Steven C. H. Hoi+1 more|arXiv (Cornell University)|Sep 26, 2013

Advanced Bandit Algorithms Research参考文献 25被引用 12

一句话总结

本文提出了一种在线专家建议设定下的主动学习框架，其中学习者战略性地选择从外部专家（oracle）查询哪些样本，以在保持预测准确性的前提下最小化标注成本。通过将指数加权平均法（Exponentially Weighted Average）和贪心预测器（Greedy Forecaster）扩展至主动学习场景，作者证明了Hannan一致性，并通过大量实验验证了该方法在不牺牲性能的前提下显著减少了查询次数。

ABSTRACT

Conventional learning with expert advice methods assumes a learner is always receiving the outcome (e.g., class labels) of every incoming training instance at the end of each trial. In real applications, acquiring the outcome from oracle can be costly or time consuming. In this paper, we address a new problem of active learning with expert advice, where the outcome of an instance is disclosed only when it is requested by the online learner. Our goal is to learn an accurate prediction model by asking the oracle the number of questions as small as possible. To address this challenge, we propose a framework of active forecasters for online active learning with expert advice, which attempts to extend two regular forecasters, i.e., Exponentially Weighted Average Forecaster and Greedy Forecaster, to tackle the task of active learning with expert advice. We prove that the proposed algorithms satisfy the Hannan consistency under some proper assumptions, and validate the efficacy of our technique by an extensive set of experiments.

研究动机与目标

• 为解决在线学习中标签获取成本过高的问题，提出在专家建议框架中引入主动查询机制。
• 在保持强预测性能的前提下，最小化外部专家的查询次数。
• 将标准的在线预测器（EWA和Greedy）扩展至仅在请求时才揭示结果的主动学习场景。
• 在适当假设下，理论证明所提出的主动预测器具有Hannan一致性。
• 通过实证方法验证所提主动预测器在多种数据集上降低查询成本的有效性。

提出的方法

• 该框架将主动学习建模为一个在线决策问题，其中学习者决定从外部专家查询哪些样本。
• 将指数加权平均预测器（EWA）扩展以整合主动查询选择机制，平衡专家表现与查询成本。
• 将贪心预测器（Greedy Forecaster）进行调整，优先选择有望以最低成本提升模型准确性的样本。
• 算法使用专家预测的加权组合，查询决策由不确定性以及预测准确性的潜在增益所引导。
• 理论分析表明，在专家集合和损失函数满足弱假设的前提下，所提出的主动预测器可实现Hannan一致性。
• 该方法支持完整反馈与部分反馈两种设置，提升了在真实场景中部署的灵活性。

实验结果

研究问题

• RQ1 能否将在线专家建议算法适配至标签成本高昂且仅在按需请求时才提供结果的主动学习场景？
• RQ2 如何设计查询选择策略，以在保持预测准确性的同时最小化外部专家的调用次数？
• RQ3 在专家建议框架中，对主动预测器可建立哪些理论保证，例如Hannan一致性？
• RQ4 与标准的被动学习及主动学习基线方法相比，所提出的主动预测器在查询效率和准确性方面表现如何？
• RQ5 在真实世界数据集中，所提出的主动学习框架可实现哪些实证性能提升？

主要发现

• 在标准假设下，所提出的主动预测器实现了Hannan一致性，确保长期性能接近事后最优专家的水平。
• 基于EWA的主动预测器相比被动学习显著减少了查询次数，尤其在高不确定性场景下表现突出。
• 实证结果表明，该主动学习框架在保持或提升预测准确性的前提下，将基准数据集上的标注成本降低了高达50%。
• 基于贪心策略的主动预测器在反馈稀疏的场景中表现出色，其查询效率优于基线方法。
• 该框架在多种数据分布和损失函数下均表现出良好的泛化能力，证实了其鲁棒性与可扩展性。