[论文解读] Dynamic Model Selection for Prediction Under a Budget

Nan Feng, Venkatesh Saligrama|arXiv (Cornell University)|Apr 25, 2017

Machine Learning and Data Classification参考文献 14被引用 4

一句话总结

该论文提出了一种自下而上的动态模型选择方法，通过学习一个门控函数，根据输入的难易程度将输入路由到低成本或高精度模型，从而在不牺牲精度的前提下最小化总体成本。该方法首先训练一个高精度模型，然后学习低复杂度的门控和预测模型来近似其在简单区域的表现，进而在基准数据集上实现了当前最优的成本-精度权衡。

ABSTRACT

We present a dynamic model selection approach for resource-constrained prediction. Given an input instance at test-time, a gating function identifies a prediction model for the input among a collection of models. Our objective is to minimize overall average cost without sacrificing accuracy. We learn gating and prediction models on fully labeled training data by means of a bottom-up strategy. Our novel bottom-up method is a recursive scheme whereby a high-accuracy complex model is first trained. Then a low-complexity gating and prediction model are subsequently learnt to adaptively approximate the high-accuracy model in regions where low-cost models are capable of making highly accurate predictions. We pose an empirical loss minimization problem with cost constraints to jointly train gating and prediction models. On a number of benchmark datasets our method outperforms state-of-the-art achieving higher accuracy for the same cost.

研究动机与目标

• 为减少医疗、监控和移动分析等机器学习应用中的推理成本，这些应用中特征提取、传感器使用或远程计算会产生开销。
• 在基于输入复杂度动态选择模型的前提下，通过动态选择模型来维持高预测精度并最小化总成本。
• 解决自上而下的方法的局限性，这些方法从低成本模型开始并逐步增加特征，可能无法保持高精度。
• 通过学习一个门控函数，自适应地将困难输入卸载到高精度的遗留模型中，实现高精度模型的成本效益部署。
• 采用递归的自下而上策略，联合优化门控和预测模型，以提升泛化能力和成本效率。

提出的方法

• 自下而上的递归训练策略：首先训练一个高精度、高成本的模型（例如，500棵XGBoost树），然后在精度仍足够高的区域学习低复杂度的模型来近似其表现。
• 在成本约束下进行联合经验风险最小化，使用基于间隔的目标函数，该函数在门控函数和预测函数上分别具有凸性。
• 使用逻辑损失进行概率投影（I-投影/M-投影）的交替最小化，确保收敛性。
• 门控函数与低成本预测模型共享树结构，以减少冗余和成本，实现特征计算的共享。
• 该方法支持成本-精度权衡的递归优化，尽管单阶段已优于当前最优方法。
• 在本地-远程系统中，该方法学习一个轻量级模型 $f_1$ 和一个门控函数 $g$，以最小化远程模型调用次数，同时保持目标精度。

实验结果

研究问题

• RQ1 自下而上的方法是否能通过学习用低成本模型近似高精度模型，实现比自上而下或独立的低成本模型更好的成本-精度权衡？
• RQ2 在成本约束下，如何联合优化门控和预测模型，以最小化总体预测成本并保持精度？
• RQ3 从高精度模型开始的递归自下而上训练策略，是否相比贪婪或剪枝方法具有更好的泛化能力和成本效率？
• RQ4 在本地-远程系统中，轻量级模型结合学习到的门控函数是否能显著降低远程计算成本而不造成精度损失？
• RQ5 所提出方法在多种数据集和成本预算下，与GreedyMiser和BudgetPrune等当前最优方法相比，性能如何？

主要发现

• 在MiniBooNE和Forest Covertype数据集上，DynoMod-Gbrt在特征成本为40–80的范围内，显著降低了KL散度（提高了精度），优于BudgetPrune和GreedyMiser。
• 在Scene 15数据集上，DynoMod-Lstsq仅将43%的测试样本发送至远程系统，优于基于置信度的方法（49%）和贪婪方法（52%）。
• 在CIFAR-10上，DynoMod-Lstsq将远程通信量减少至43%的样本，优于基于置信度的方法（49%）和贪婪方法（52%），同时保持了高精度。
• 在本地-远程设置中，DynoMod-Lstsq在MiniBooNE上将远程通信量减少至15%的样本，同时保持94%的精度，优于基于置信度的方法（18%）和贪婪方法（18%）。
• 该方法在成本-精度性能上优于当前最优方法，DynoMod-Gbrt在多个基准测试中均优于自上而下的（GreedyMiser）和自下而上的（BudgetPrune）基线方法。
• 即使仅使用单阶段，该方法也优于先前工作中采用递归优化的方法，证明了自下而上策略的有效性。