[論文レビュー] FrugalML: How to use ML Prediction APIs more accurately and cheaply

Lingjiao Chen, Matei Zaharia+1 more|arXiv (Cornell University)|Jun 1, 2020

Emotion and Mood Recognition被引用数 6

ひとこと要約

FrugalML は、複数の機械学習予測 API の強みと弱みを統合的にモデル化し、予算内でそれらを逐次的に最適に使用するためのフレームワークであり、感情分析や音声認識などのタスクにおいて、最良の単一 API と同等またはそれを上回る精度を維持しながら、最大 90% のコスト削減を達成する。

ABSTRACT

Prediction APIs offered for a fee are a fast-growing industry and an important part of machine learning as a service. While many such services are available, the heterogeneity in their price and performance makes it challenging for users to decide which API or combination of APIs to use for their own data and budget. We take a first step towards addressing this challenge by proposing FrugalML, a principled framework that jointly learns the strength and weakness of each API on different data, and performs an efficient optimization to automatically identify the best sequential strategy to adaptively use the available APIs within a budget constraint. Our theoretical analysis shows that natural sparsity in the formulation can be leveraged to make FrugalML efficient. We conduct systematic experiments using ML APIs from Google, Microsoft, Amazon, IBM, Baidu and other providers for tasks including facial emotion recognition, sentiment analysis and speech recognition. Across various tasks, FrugalML can achieve up to 90% cost reduction while matching the accuracy of the best single API, or up to 5% better accuracy while matching the best API's cost.

研究の動機と目的

• 価格とパフォーマンスが異なる多様な ML 予測 API 間での選択の課題に対処すること。
• 機械学習推論において複数の API を使用する際のコスト効率の高い意思決定を可能にすること。
• データの特徴に応じて動的に API を選択する、適応的で予算制約付きの戦略を開発すること。
• 実世界のデプロイ環境において、コスト効率と予測精度の両方を最適化すること。

提案手法

• 各 API のパフォーマンスとコストを、異なるデータ入力に対して統合的にモデル化するための、API 選択問題の共同学習タスクとしての定式化。
• API パフォーマンス行列における自然なスパarsity 利用により、計算のオーバーヘッドを低減し、効率的な最適化を可能にすること。
• 予測されたパフォーマンスと予算制約に基づいて、動的に API を選択する逐次意思決定戦略の設計。
• データから最適な API 選択ポリシーを学習できる、微分可能でエンドツーエンドの最適化フレームワークの使用。
• コストに配慮した予測を保証するために、予算制約を学習目的関数に直接統合すること。
• Google、Microsoft、Amazon、IBM、Baidu などの実世界の API を用いて、プロバイダ間の評価を実施すること。

実験結果

リサーチクエスチョン

• RQ1 複数の ML 予測 API のパフォーマンスとコストを統合的にモデル化することで、コスト効率の高い選択をどのように支援できるか？
• RQ2 予算制約下で、効率的かつ適応的な API 選択を実現する最適化戦略は何か？
• RQ3 統合フレームワークは、最良の単一 API の一部のコストで、より高い精度を達成できるか？
• RQ4 感情分析、顔の感情認識、音声認識などの多様なタスクにおいて、このフレームワークはどのように性能を発揮するか？
• RQ5 API パフォーマンス行列における自然なスパarsity は、計算効率を向上させるためにどの程度活用可能か？

主な発見

• FrugalML は、最良の単一 API を使用する場合と比較して、推論コストを最大 90% 削減しながら、その精度を維持または上回る。
• コストを同等に抑えた状況では、FrugalML は最良の個別 API よりも最大 5% の高い精度を達成する。
• フレームワークは、入力データの特徴に応じて最適な逐次 API 戦略を効果的に特定する。
• API パフォーマンス行列における自然なスパarsity は、精度を損なわずに顕著な計算効率の向上を実現できる。
• 本アプローチは、感情分析、顔の感情認識、音声認識を含む多様なタスクに一般化可能である。
• 6 つの主要プロバイダ（Google、Microsoft、Amazon、IBM、Baidu およびその他のプロバイダ）における実証的評価により、コスト-精度トレードオフの継続的かつ一貫した向上が確認された。