[논문 리뷰] Efficient Online ML API Selection for Multi-Label Classification Tasks

Lingjiao Chen, Matei Zaharia외 1명|arXiv (Cornell University)|2021. 02. 18.

Text and Document Classification Technologies인용 수 5

한 줄 요약

이 논문은 사용자가 정의한 예산 내에서 정확도를 최대화하기 위해 여러 머신러닝 API의 예측을 적절히 조합하는 원칙적인 온라인 프레임워크인 FrugalMUT을 제안한다. 예측 신뢰도를 추정하고 빠른 순차 선택기를 사용함으로써 FrugalMUT은 다양한 작업, 예를 들어 이미지 및 텍스트 분류에서 최고의 단일 API보다 정확도를 유지하거나 향상시키면서도 90% 이상의 비용 절감을 달성한다.

ABSTRACT

Multi-label classification tasks such as OCR and multi-object recognition are a major focus of the growing machine learning as a service industry. While many multi-label prediction APIs are available, it is challenging for users to decide which API to use for their own data and budget, due to the heterogeneity in those APIs' price and performance. Recent work shows how to select from single-label prediction APIs. However the computation complexity of the previous approach is exponential in the number of labels and hence is not suitable for settings like OCR. In this work, we propose FrugalMCT, a principled framework that adaptively selects the APIs to use for different data in an online fashion while respecting user's budget. The API selection problem is cast as an integer linear program, which we show has a special structure that we leverage to develop an efficient online API selector with strong performance guarantees. We conduct systematic experiments using ML APIs from Google, Microsoft, Amazon, IBM, Tencent and other providers for tasks including multi-label image classification, scene text recognition and named entity recognition. Across diverse tasks, FrugalMCT can achieve over 90% cost reduction while matching the accuracy of the best single API, or up to 8% better accuracy while matching the best API's cost.

연구 동기 및 목표

• 엄격한 예산 제약 조건 하에서 이질적인 여러 머신러닝 API를 선택하고 조합하여 다중 레이블 분류 작업을 수행하는 데 도전하는 것.
• 여러 제공자로부터의 출력을 지능적으로 조합하여 최고의 단일 API를 초월하는 예측 정확도를 향상시키는 것.
• 레이블 수가 많은 온라인 환경, 예를 들어 다중 레이블 이미지 및 텍스트 분류에서 계산 비용을 줄이는 것.
• API 예측 간 상관관계를 모델링하고 이를 활용하여 전체 신뢰도와 정확도를 향상시키는 것.
• 입력 특성과 예산 제약 조건에 따라 동적으로 최적의 API 조합을 선택할 수 있는 확장 가능하고 실시간 기반의 솔루션을 설계하는 것.

제안 방법

• FrugalMUT은 입력별로 각 API의 예측 신뢰도를 불확실성 추정기(uncertainty estimator)를 사용하여 실시간으로 평가하는 온라인 프레임워크를 활용한다.
• 추정된 신뢰도와 예산 제약 조건을 바탕으로 최적의 API 조합을 선택함으로써 정확도와 비용을 균형 잡는 빠른 순차 선택기를 사용한다.
• 학습된 신뢰도 추정기로 다양한 API 조합의 상대적 강점을 모델링하여 입력 특성에 맞게 동적으로 적응할 수 있도록 한다.
• 개별 API가 서로 다른 예측을 내더라도 진짜 레이블 세트를 유지하거나 향상시키는 방식으로 다수의 API 예측을 조합한다.
• 단일 API와 다중 API 조합을 모두 지원하며, 높은 신뢰도의 예측이 도달하면 조기에 중단되는 후행 메커니즘을 갖춘다.
• 브루트 포스 API 조합 평가의 지수적 복잡도를 피하기 위해 대규모 레이블 세트를 효율적으로 처리하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 다중 레이블 분류 작업에서 실시간으로 여러 머신러닝 API를 효율적으로 선택하고 조합하여 예측 정확도를 극대화할 수 있는 방법은 무엇인가?
• RQ2 정밀도와 가격이 상이한 다양한 이질적 API가 존재할 때, 비용과 정확도를 균형 잡는 최적의 전략은 무엇인가?
• RQ3 API 예측 간 상관관계를 모델링하여 최고의 단일 API를 초월하는 전체 정확도 향상을 달성할 수 있는가?
• RQ4 다양한 입력 유형과 레이블 세트에서 엄격한 예산 제약 조건 하에서 시스템 성능은 어떻게 되는가?
• RQ5 과도한 계산 비용이 발생하지 않도록 대규모 다중 레이블 문제에 대해 효과적으로 확장 가능한가?

주요 결과

• FrugalMUT은 최고의 단일 API를 사용할 경우와 비교해 90퍼센트 이상의 비용 절감을 달성하면서도 그 정확도를 유지하거나 초월한다.
• 다중 레이블 이미지 분류 작업에서 FrugalMUT은 최고의 단일 API와 동일한 정확도를 달성하지만 비용은 극적으로 낮춘다.
• 이름 엔터티 인식 및 텍스트 추출과 같은 작업에서는 FrugalMUT이 최고의 개별 API보다 정확도를 최대 8퍼센트 향상시키면서도 비용을 절감한다.
• 프레임워크는 예를 들어 한 API가 '사람'을 탐지하고 다른 API가 '자동차'를 탐지할 때 이러한 예측 간 상관관계를 효과적으로 모델링하고 조합하여 전체 진짜 레이블 세트를 복원한다.
• Google, Microsoft, Amazon, IBM, Tencent API를 사용한 실험에서 FrugalMUT은 비용 효율성과 정확도 모두에서 단일 API 기반 베이스라인을 일관되게 뛰어넘었다.
• 시스템은 강력한 확장성을 보이며, 이전 방법에서 볼 수 있었던 지수적 계산 비용 없이 대규모 레이블 세트를 처리할 수 있었다.