[论文解读] Fast classification using sparse decision DAGs

Djalel Benbouzid, Busa-Fekete, Robert+1 more|arXiv (Cornell University)|Jun 27, 2012

Neural Networks and Applications参考文献 22被引用 35

一句话总结

本文提出一种方法，通过将分类器选择过程建模为马尔可夫决策过程（Markov decision process），构建稀疏决策DAG（有向无环图），以实现快速、高精度的分类。该方法根据实例特定状态动态选择来自外部方法（如AdaBoost）的基分类器，实现极高的速度且精度损失极小——尤其在基分类器数量较少时，优于级联检测器，并可在不降低性能的前提下实现高效的多分类排序。

ABSTRACT

In this paper we propose an algorithm that builds sparse decision DAGs (directed acyclic graphs) from a list of base classifiers provided by an external learning method such as AdaBoost. The basic idea is to cast the DAG design task as a Markov decision process. Each instance can decide to use or to skip each base classifier, based on the current state of the classifier being built. The result is a sparse decision DAG where the base classifiers are selected in a data-dependent way. The method has a single hyperparameter with a clear semantics of controlling the accuracy/speed trade-off. The algorithm is competitive with state-of-the-art cascade detectors on three object-detection benchmarks, and it clearly outperforms them when there is a small number of base classifiers. Unlike cascades, it is also readily applicable for multi-class classification. Using the multi-class setup, we show on a benchmark web page ranking data set that we can significantly improve the decision speed without harming the performance of the ranker.

研究动机与目标

• 为实时应用中的快速、可扩展分类提供解决方案，特别是在目标检测和网页排序中的应用。
• 克服传统级联检测器效率低下且难以适应多分类场景的局限性。
• 设计一种稀疏决策DAG，根据实例特定状态动态选择基分类器，提升推理速度。
• 提供一个单一、可解释的超参数，用于控制分类器部署中的精度-速度权衡。
• 在严格速度约束下，实现高效的多分类分类与排序，且性能损失最小。

提出的方法

• 该方法将决策DAG的构建过程建模为马尔可夫决策过程（MDP），其中每个节点代表一个决策状态，每条边对应应用一个基分类器。
• 在每个状态，算法根据预期奖励（精度提升）与成本（计算时间）决定是否应用基分类器，或终止并进行预测。
• 算法使用动态规划计算最优策略，确保DAG结构稀疏且高效。
• 基分类器来自外部（例如通过AdaBoost），其顺序与选择基于训练数据和实例相关状态转移进行优化。
• 通过将MDP框架扩展以处理多个输出类别和相应的状态转移，该方法支持多分类任务。
• 单一超参数通过调整MDP中的探索-利用平衡，控制精度与推理速度之间的权衡。

实验结果

研究问题

• RQ1 能否以数据驱动、自适应的方式构建决策DAG，以最小化推理时间，同时保持分类精度？
• RQ2 在基分类器数量有限的情况下，所提出的稀疏DAG与传统级联检测器相比，在速度和精度方面表现如何？
• RQ3 MDP方法能否有效扩展至多分类分类问题？
• RQ4 该方法在网页排序中能在多大程度上提升推理速度而不降低排序性能？
• RQ5 是否存在一个单一、有意义的超参数，能够以合理且可解释的方式控制精度-速度权衡？

主要发现

• 在三个目标检测基准上，所提方法优于最先进的级联检测器，尤其在基分类器数量较少时表现更优。
• 在网页排序基准上，该方法显著提升了决策速度，且未损害排序性能，展现出显著的效率优势。
• 该方法可直接应用于多分类分类任务，而级联方法通常仅限于二分类设置。
• 单一超参数能有效控制精度-速度权衡，对推理行为的影响清晰且可解释。
• 即使使用相同的基分类器集合，稀疏DAG结构的推理速度也快于标准级联结构。
• 基于MDP的优化生成了稀疏、高效的DAG，仅对每个实例选择最具有信息量的分类器进行应用。