[论文解读] Efficient Learning by Directed Acyclic Graph For Resource Constrained Prediction

Joseph Wang, Kirill Trapeznikov+1 more|arXiv (Cornell University)|Oct 26, 2015

Machine Learning and Algorithms参考文献 26被引用 28

一句话总结

该论文提出了一种基于有向无环图（DAG）的自适应传感器采集系统，通过学习成本有效且依赖于数据的决策规则，在保持高分类准确率的同时最小化测试时间的采集成本。通过动态规划将全局经验风险最小化问题转化为一系列代价敏感学习子问题，该方法可收敛至贝叶斯风险，并在小规模和大规模传感器集合上均优于当前最先进方法。

ABSTRACT

We study the problem of reducing test-time acquisition costs in classification systems. Our goal is to learn decision rules that adaptively select sensors for each example as necessary to make a confident prediction. We model our system as a directed acyclic graph (DAG) where internal nodes correspond to sensor subsets and decision functions at each node choose whether to acquire a new sensor or classify using the available measurements. This problem can be naturally posed as an empirical risk minimization over training data. Rather than jointly optimizing such a highly coupled and non-convex problem over all decision nodes, we propose an efficient algorithm motivated by dynamic programming. We learn node policies in the DAG by reducing the global objective to a series of cost sensitive learning problems. Our approach is computationally efficient and has proven guarantees of convergence to the optimal system for a fixed architecture. In addition, we present an extension to map other budgeted learning problems with large number of sensors to our DAG architecture and demonstrate empirical performance exceeding state-of-the-art algorithms for data composed of both few and many sensors.

研究动机与目标

• 在预算约束下，减少分类系统在测试时间的传感器采集成本。
• 学习基于示例特定信息量和成本的自适应决策规则，以选择传感器。
• 将传感器采集过程建模为具有内部节点决策函数的有向无环图（DAG）。
• 开发一种高效的学习算法，使其能收敛至固定DAG架构下的最优策略。
• 通过子模近似和子集分组方法，将该框架扩展至大规模传感器集合。

提出的方法

• 将系统建模为DAG，其中内部节点表示传感器子集，决策函数负责将样本路由至获取新传感器或进行分类。
• 利用动态规划原理，将全局经验风险最小化问题分解为一系列代价敏感学习（CSL）子问题。
• 通过将问题简化为可处理的CSL任务，迭代学习节点策略，从而实现高效优化。
• 对于大规模传感器集合，通过子模近似算法贪婪地选择传感器子集，并将其作为DAG中的原子“超传感器”处理。
• 在这些子集的并集上构建DAG，显著减小图的规模，同时保持表达能力。
• 使用齐次多项式作为决策函数，并在汇点节点应用逻辑回归进行分类。

实验结果

研究问题

• RQ1 基于DAG的自适应传感器采集系统是否能在测试时间成本和准确率方面优于非自适应方法和级联方法？
• RQ2 如何高效求解DAG决策节点上的高度耦合、非凸优化问题？
• RQ3 所提出的受动态规划启发的代价敏感学习简化方法，是否能收敛至固定DAG架构下的最优策略？
• RQ4 该框架能否扩展至穷举子集选择不可行的大规模传感器集合？
• RQ5 在高维数据上，该DAG系统与CSTC和ASTC相比性能如何？

主要发现

• 在letter、pima和landsat数据集上，DAG系统优于基于LP的树方法，在相当或更低的传感器采集成本下实现了更低的测试误差。
• 在小规模传感器集合上，由于传感器排序的灵活性和更高容量的分类器，DAG方法显著优于以往的级联方法。
• 在大规模传感器集合（MiniBooNE、Forest、CIFAR）上，DAG系统在MiniBooNE和Forest数据集上优于CSTC和ASTC，在更高预算下表现更优。
• 在CIFAR数据集上，DAG系统在低预算下与ASTC性能相当，在高预算下则超越ASTC，展现出在不同成本区间下的鲁棒性。
• 随着训练集规模增大，该方法收敛至贝叶斯风险，为固定架构提供了最优性的理论保证。
• 通过子模近似对传感器进行分组，将DAG规模从64个节点（所有子集）减少至8个节点，从而实现对高维数据的可扩展性。