[论文解读] FrugalML: How to use ML Prediction APIs more accurately and cheaply

Lingjiao Chen, Matei Zaharia+1 more|arXiv (Cornell University)|Jun 1, 2020

Emotion and Mood Recognition被引用 6

一句话总结

FrugalML 是一个框架，通过联合建模多个机器学习预测 API 的优缺点，以在预算内优化其顺序使用，从而在情感分析和语音识别等任务中实现高达 90% 的成本降低，同时保持或超越单个最佳 API 的准确性。

ABSTRACT

Prediction APIs offered for a fee are a fast-growing industry and an important part of machine learning as a service. While many such services are available, the heterogeneity in their price and performance makes it challenging for users to decide which API or combination of APIs to use for their own data and budget. We take a first step towards addressing this challenge by proposing FrugalML, a principled framework that jointly learns the strength and weakness of each API on different data, and performs an efficient optimization to automatically identify the best sequential strategy to adaptively use the available APIs within a budget constraint. Our theoretical analysis shows that natural sparsity in the formulation can be leveraged to make FrugalML efficient. We conduct systematic experiments using ML APIs from Google, Microsoft, Amazon, IBM, Baidu and other providers for tasks including facial emotion recognition, sentiment analysis and speech recognition. Across various tasks, FrugalML can achieve up to 90% cost reduction while matching the accuracy of the best single API, or up to 5% better accuracy while matching the best API's cost.

研究动机与目标

• 解决在价格和性能各异的异构机器学习预测 API 中进行选择的挑战。
• 使用户能够在使用多个 API 进行机器学习推理时做出更具成本效益的决策。
• 开发一种自适应的、受预算约束的策略，根据数据特征动态选择 API。
• 在实际部署场景中，同时优化成本效率和预测准确性。

提出的方法

• 将 API 选择问题建模为联合学习任务，以在不同数据输入下建模每个 API 的性能和成本。
• 利用 API 性能矩阵中的自然稀疏性，实现高效优化并降低计算开销。
• 设计一种顺序决策策略，根据预测性能和预算约束自适应地选择 API。
• 使用可微分的、端到端的优化框架，从数据中学习最优的 API 选择策略。
• 将预算约束直接整合到学习目标中，以确保具备成本意识的预测。
• 将该框架应用于来自 Google、Microsoft、Amazon、IBM 和 Baidu 等公司的实际 API，以实现跨供应商评估。

实验结果

研究问题

• RQ1 如何联合建模多个机器学习预测 API 的性能与成本，以指导更具成本效益的选择？
• RQ2 何种优化策略能够在预算约束下实现高效且自适应的 API 选择？
• RQ3 统一框架是否能在远低于最佳单个 API 成本的情况下，实现优于其的准确性？
• RQ4 该框架在情感分析、面部情绪识别和语音识别等多样化任务中的表现如何？
• RQ5 在多 API 性能矩阵中，自然稀疏性在多大程度上可被利用以提升计算效率？

主要发现

• 与使用最佳单个 API 相比，FrugalML 将推理成本降低了高达 90%，同时保持或匹配其准确性。
• 在成本相当的场景下，FrugalML 的准确性比最佳单个 API 提高了高达 5%。
• 该框架能有效识别出适应输入数据特征的最优 API 顺序策略。
• API 性能矩阵中的自然稀疏性在不损失准确性的前提下，显著提升了计算效率。
• 该方法在多样化任务中具有良好的泛化能力，包括情感分析、面部情绪识别和语音识别。
• 在六家主要提供商（Google、Microsoft、Amazon、IBM、Baidu 及其他）上的实证评估证实了其在成本-准确性权衡上的持续优势。