[论文解读] Efficient Online ML API Selection for Multi-Label Classification Tasks

Lingjiao Chen, Matei Zaharia+1 more|arXiv (Cornell University)|Feb 18, 2021

Text and Document Classification Technologies被引用 5

一句话总结

该论文提出 FrugalMUT，一种用于高效多标签分类 API 选择的有原则的在线框架，可自适应地组合多个机器学习 API 的预测结果，以在用户定义的预算内最大化准确率。通过估计预测可靠性并使用快速顺序选择器，FrugalMUT 在保持或超越最佳单个 API 准确率的同时，实现了超过 90% 的成本降低，适用于图像和文本分类等多样化任务。

ABSTRACT

Multi-label classification tasks such as OCR and multi-object recognition are a major focus of the growing machine learning as a service industry. While many multi-label prediction APIs are available, it is challenging for users to decide which API to use for their own data and budget, due to the heterogeneity in those APIs' price and performance. Recent work shows how to select from single-label prediction APIs. However the computation complexity of the previous approach is exponential in the number of labels and hence is not suitable for settings like OCR. In this work, we propose FrugalMCT, a principled framework that adaptively selects the APIs to use for different data in an online fashion while respecting user's budget. The API selection problem is cast as an integer linear program, which we show has a special structure that we leverage to develop an efficient online API selector with strong performance guarantees. We conduct systematic experiments using ML APIs from Google, Microsoft, Amazon, IBM, Tencent and other providers for tasks including multi-label image classification, scene text recognition and named entity recognition. Across diverse tasks, FrugalMCT can achieve over 90% cost reduction while matching the accuracy of the best single API, or up to 8% better accuracy while matching the best API's cost.

研究动机与目标

• 解决在严格预算约束下，为多标签分类任务选择和组合多个异构机器学习 API 的挑战。
• 通过智能组合多个提供商的输出，将预测准确率提升至超过最佳单个 API 的水平。
• 在标签数量较大的在线环境中降低计算成本，例如在多标签图像和文本分类中。
• 对 API 预测之间的相关性进行建模并加以利用，以增强整体可靠性和准确率。
• 设计一种可扩展的实时解决方案，根据输入特征和预算约束动态选择最优的 API 组合。

提出的方法

• FrugalMUT 采用实时在线框架，基于不确定性估计器对每个输入的每个 API 预测可靠性进行评估。
• 它使用一种快速顺序选择器，通过基于估计可靠性与预算约束的权衡，选择最优的 API 组合。
• 该框架通过学习的可靠性估计器对不同 API 组合的相对优势进行建模，从而能够根据输入特征动态适应。
• 通过一种保留或增强真实标签集的方式，对多个 API 的预测结果进行集成，即使各 API 的预测结果互不重叠。
• 系统支持单个 API 和多 API 组合，当检测到高置信度预测时，具备早期停止的回退机制。
• 其设计可高效处理大规模标签集，避免暴力枚举所有 API 组合带来的指数级复杂度。

实验结果

研究问题

• RQ1 如何在实时环境中高效选择和组合多个机器学习 API，以最大化多标签分类任务的预测准确率？
• RQ2 当存在多个精度和定价各不相同的异构 API 时，如何实现成本与准确率之间的最优平衡？
• RQ3 我们能否对 API 预测之间的相关性进行建模，以实现超越最佳单个 API 的整体准确率？
• RQ4 在多种输入类型和标签集下，系统在严格预算约束下的表现如何？
• RQ5 该框架能否在不产生高昂计算成本的前提下，有效扩展至大规模多标签问题？

主要发现

• 与使用最佳单个 API 相比，FrugalMUT 实现了超过 90% 的成本降低，同时保持或超越其准确率。
• 在多标签图像分类任务中，FrugalMUT 达到了与最佳单个 API 相当的准确率，但成本仅为后者的几分之一。
• 在命名实体识别和文本抽取等任务中，FrugalMUT 相较于最佳单个 API 的准确率最高提升了 8%，同时仍保持成本降低。
• 该框架有效建模并利用了 API 预测之间的相关性，例如当一个 API 检测到 'person' 而另一个检测到 'car' 时，能够将它们组合以恢复完整的真正标签集。
• 在 Google、Microsoft、Amazon、IBM 和 Tencent 等 API 的实验中，FrugalMUT 在成本效率和准确率方面始终优于单个 API 的基线方法。
• 该系统展现出强大的可扩展性，在不产生指数级计算成本的情况下处理大规模标签集，优于以往方法。