[论文解读] Active model selection

Omid Madani, Daniel J. Lizotte+1 more|arXiv (Cornell University)|Jul 7, 2004

Machine Learning and Algorithms参考文献 19被引用 51

一句话总结

本文提出了一种主动模型选择框架，其中学习者使用固定的探测预算，按顺序评估模型并识别出预期准确率最高的模型。该问题被形式化为NP难问题，并评估了Biased-Robin、Round-Robin和Gittins等算法，结果表明在相同成本和先验条件下，Biased-Robin显著优于其他方法。

ABSTRACT

Classical learning assumes the learner is given a labeled data sample, from which it learns a model. The field of Active Learning deals with the situation where the learner begins not with a training sample, but instead with resources that it can use to obtain information to help identify the optimal model. To better understand this task, this paper presents and analyses the simplified (budgeted) active selection version, which captures the pure exploration aspect of many active learning problems in a clean and simple problem formulation. Here the learner can use a fixed budget of model probes (where each probe evaluates the specified on a random indistinguishable instance) to identify which of a given set of possible models has the highest expected accuracy. Our goal is a policy that sequentially determines which to probe next, based on the information observed so far. We present a formal description of this task, and show that it is NP-hard in general. We then investigate a number of algorithms for this task, including several existing ones (eg, Round-Robin, Interval Estimation, Gittins) as well as some novel ones (e.g., Biased-Robin), describing first their approximation properties and then their empirical performance on various problem instances. We observe empirically that the simple biased-robin algorithm significantly outperforms the other algorithms in the case of identical costs and priors.

研究动机与目标

• 将主动模型选择形式化为在固定探测预算下的序列决策问题。
• 分析使用有限探测数识别最优模型的计算复杂度。
• 在预算约束下评估并比较现有及新型算法的模型选择性能。
• 确定在相同成本和先验条件下，哪种算法能实现最高的预期准确率以识别最佳模型。

提出的方法

• 学习者使用固定的探测预算，每次探测随机选取一个实例以估计模型准确率。
• 将问题形式化为序列决策过程，其中下一步探测的选择基于已观测到的结果。
• 实现了Round-Robin、Interval Estimation、Gittins以及一种新型的Biased-Robin算法，并进行比较。
• Biased-Robin根据估计准确率和不确定性对模型进行优先排序，倾向于选择潜在回报高的模型。
• 该框架假设模型在独立同分布的实例上进行评估，探测结果提供具有噪声但无偏的准确率估计。
• 理论分析表明该问题为NP难，从而支持使用启发式和近似算法。

实验结果

研究问题

• RQ1 在固定探测预算下，主动模型选择的计算复杂度是什么？
• RQ2 不同探测策略（如Round-Robin、Gittins、Biased-Robin）在识别最佳模型方面的表现如何比较？
• RQ3 当成本和先验相同时，Biased-Robin是否优于已有的成熟方法？
• RQ4 所提出的算法表现出哪些近似特性？
• RQ5 在不同模型集合和探测预算下，实际性能如何变化？

主要发现

• 具有固定探测预算的主动模型选择问题被正式证明为NP难问题。
• 在相同成本和先验条件下，Biased-Robin算法在识别最高准确率模型方面在实验中显著优于Round-Robin、Interval Estimation和Gittins。
• Biased-Robin通过动态优先排序实现探索与利用的平衡，从而取得更优性能。
• 在模型不确定性较高且探测数量有限的场景下，Biased-Robin与其他算法之间的性能差距最为显著。
• Gittins和Interval Estimation等现有算法虽具有坚实的理论基础，但在所测试配置中实际表现较差。
• 结果表明，简单的启发式策略如Biased-Robin在实际主动模型选择中可能比复杂但理论基础牢固的替代方案更有效。