[論文レビュー] Efficient Online ML API Selection for Multi-Label Classification Tasks

Lingjiao Chen, Matei Zaharia+1 more|arXiv (Cornell University)|Feb 18, 2021

Text and Document Classification Technologies被引用数 5

ひとこと要約

本稿では、ユーザーが定義した予算内で正確性を最大化するための、効率的なマルチラベル分類API選択のための原理的でオンラインなフレームワーク、FrugalMUTを提案する。予測の信頼性を推定し、高速な逐次選択器を用いることで、複数のML APIの予測を適応的に統合し、90%を超えるコスト削減を達成するとともに、画像分類やテキスト分類などの多様なタスクで、最良の単一APIの正確性を同等または上回る性能を発揮する。

ABSTRACT

Multi-label classification tasks such as OCR and multi-object recognition are a major focus of the growing machine learning as a service industry. While many multi-label prediction APIs are available, it is challenging for users to decide which API to use for their own data and budget, due to the heterogeneity in those APIs' price and performance. Recent work shows how to select from single-label prediction APIs. However the computation complexity of the previous approach is exponential in the number of labels and hence is not suitable for settings like OCR. In this work, we propose FrugalMCT, a principled framework that adaptively selects the APIs to use for different data in an online fashion while respecting user's budget. The API selection problem is cast as an integer linear program, which we show has a special structure that we leverage to develop an efficient online API selector with strong performance guarantees. We conduct systematic experiments using ML APIs from Google, Microsoft, Amazon, IBM, Tencent and other providers for tasks including multi-label image classification, scene text recognition and named entity recognition. Across diverse tasks, FrugalMCT can achieve over 90% cost reduction while matching the accuracy of the best single API, or up to 8% better accuracy while matching the best API's cost.

研究の動機と目的

• 厳密な予算制約のもとで、多様なML APIを組み合わせてマルチラベル分類タスクを実行する際の選択と統合の課題に対処すること。
• 複数の提供元のAPI出力を知的に統合することで、最良の単一APIを上回る予測正確性を向上させること。
• ラベル数が多い、例えばマルチラベル画像分類やテキスト分類のようなオンライン環境において、計算コストを低減すること。
• APIの予測間の相関関係をモデル化し、全体の信頼性と正確性を向上させること。
• 入力特徴と予算制約に基づいて、動的に最適なAPIの組み合わせを選択するスケーラブルでリアルタイムなソリューションを設計すること。

提案手法

• FrugalMUTは、入力ごとに各APIの予測信頼性を不確実性推定器を用いてリアルタイムに評価するオンラインフレームワークを採用する。
• 推定された信頼性と予算制約に基づき、最適なAPIの組み合わせを選択することで、正確性とコストのバランスを取る高速な逐次選択器を用いる。
• 学習済みの信頼性推定器を用いて、異なるAPIの組み合わせの相対的強度をモデル化し、入力固有の特徴に応じた動的適応を可能にする。
• 個々のAPIが部分的な予測しか行わない場合でも、真のラベル集合を保持または強化するように、複数のAPIの予測を統合する。
• 単一APIと複数APIの組み合わせを両方サポートし、高い信頼性の予測が得られた場合に早期に停止するフォールバック機構を備える。
• ブートストラップによるAPIの組み合わせ評価の指数的複雑性を回避し、大規模なラベル集合を効率的に処理できるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムで複数のML APIを選択・統合し、マルチラベル分類タスクの予測正確性を最大化するための効率的な方法は何か？
• RQ2 精度と価格が異なる多様な非同一なAPIが利用可能な状況で、コストと正確性の最適なバランスを取る戦略は何か？
• RQ3 APIの予測間の相関関係をモデル化することで、最良の単一APIを上回る全体の正確性を向上させられるか？
• RQ4 さまざまな入力タイプとラベル集合において、厳しい予算制約のもとで、このシステムの性能はいかがなっているか？
• RQ5 膨大なマルチラベル問題に対しても、計算コストが著しく増大することなく、効果的にスケーラブルに動作するか？

主な発見

• FrugalMUTは、最良の単一APIを用いた場合と比較して、90%を超えるコスト削減を達成しながら、正確性を同等または上回る。
• マルチラベル画像分類タスクにおいて、FrugalMUTは最良の単一APIと同等の正確性を達成するが、コストはごくわずかである。
• 名前付きエンティティ認識やテキスト抽出といったタスクでは、FrugalMUTは最良の個別APIと比較して正確性を最大8%向上させながら、コストを削減している。
• 本フレームワークは、APIの予測間の相関関係（例：1つのAPIが「person」を検出し、別のAPIが「car」を検出する場合）を効果的にモデル化・活用し、真のラベル集合を完全に回復する。
• Google、Microsoft、Amazon、IBM、TencentのAPIを用いた実験では、FrugalMUTはコスト効率と正確性の両面で、単一APIベースラインを常に上回った。
• 本システムは優れたスケーラビリティを示し、過去のアプローチが見せる指数的計算コストを回避しながら、大規模なラベル集合を処理できる。