[논문 리뷰] FrugalML: How to use ML Prediction APIs more accurately and cheaply

Lingjiao Chen, Matei Zaharia외 1명|arXiv (Cornell University)|2020. 06. 01.

Emotion and Mood Recognition인용 수 6

한 줄 요약

FrugalML는 여러 기계학습 예측 API의 장점과 단점을 종합적으로 모델링하여 예산 내에서 순차적으로 사용함으로써 비용을 최적화하는 프레임워크로, 감성 분석 및 음성 인식과 같은 작업에서 최고의 단일 API와 동일하거나 이를 초월하는 정확도를 유지하면서도 비용을 최대 90%까지 절감한다.

ABSTRACT

Prediction APIs offered for a fee are a fast-growing industry and an important part of machine learning as a service. While many such services are available, the heterogeneity in their price and performance makes it challenging for users to decide which API or combination of APIs to use for their own data and budget. We take a first step towards addressing this challenge by proposing FrugalML, a principled framework that jointly learns the strength and weakness of each API on different data, and performs an efficient optimization to automatically identify the best sequential strategy to adaptively use the available APIs within a budget constraint. Our theoretical analysis shows that natural sparsity in the formulation can be leveraged to make FrugalML efficient. We conduct systematic experiments using ML APIs from Google, Microsoft, Amazon, IBM, Baidu and other providers for tasks including facial emotion recognition, sentiment analysis and speech recognition. Across various tasks, FrugalML can achieve up to 90% cost reduction while matching the accuracy of the best single API, or up to 5% better accuracy while matching the best API's cost.

연구 동기 및 목표

• 가격와 성능가에 따라 상이한 이질적인 기계학습 예측 API 중에서 선택하는 문제에 대응한다.
• 기계학습 추론을 위해 다수의 API를 사용할 때 비용 효율적인 결정을 내릴 수 있도록 한다.
• 데이터 특성에 따라 동적으로 API를 선택하는 적응형이며 예산 제약이 있는 전략을 개발한다.
• 실제 운영 환경에서 비용 효율성과 예측 정확도를 동시에 최적화한다.

제안 방법

• 각 API의 성능 및 비용을 다양한 데이터 입력에서 종합적으로 모델링할 수 있도록 API 선택 문제를 공동 학습 문제로 공식화한다.
• API 성능 행렬 내 자연스러운 희소성(natural sparsity)을 활용하여 효율적인 최적화를 실현하고 계산 오버헤드를 줄인다.
• 예측된 성능과 예산 제약 조건에 기반해 동적으로 API를 선택하는 순차적 의사결정 전략을 설계한다.
• 데이터에서 최적의 API 선택 정책을 학습하기 위해 미분 가능하고 종단 간(end-to-end) 최적화 프레임워크를 사용한다.
• 예산 제약 조건을 직접 학습 목표에 통합하여 비용 인식 예측을 보장한다.
• Google, Microsoft, Amazon, IBM, Baidu 등 실제 API를 대상으로 다수 공급자 간 평가를 수행한다.

실험 결과

연구 질문

• RQ1 다양한 기계학습 예측 API의 성능과 비용을 종합적으로 모델링하여 비용 효율적인 선택을 이끌어내는 방법은 무엇인가?
• RQ2 예산 제약 조건 하에서 효율적이고 적응형인 API 선택을 위한 최적화 전략은 무엇인가?
• RQ3 통합 프레임워크는 비용을 최소화하면서도 최고의 단일 API보다 높은 정확도를 달성할 수 있는가?
• RQ4 감성 분석, 얼굴 정서 인식, 음성 인식과 같은 다양한 작업에서 이 프레임워크의 성능은 어떠한가?
• RQ5 API 성능 행렬 내 자연스러운 희소성은 계산 효율성을 향상시키기 위해 얼마나 효과적으로 활용될 수 있는가?

주요 결과

• FrugalML은 최고의 단일 API를 사용할 때와 비교해 추론 비용을 최대 90%까지 절감하면서도 정확도를 유지하거나 향상시킨다.
• 비용을 동일하게 유지하는 조건에서 FrugalML은 최고의 개별 API보다 최대 5% 높은 정확도를 달성한다.
• 프레임워크는 입력 데이터 특성에 따라 적합한 순차적 API 전략을 효과적으로 식별한다.
• API 성능 행렬 내 자연스러운 희소성은 정확도를 훼손하지 않으면서도 계산 효율성을 크게 향상시킨다.
• 이 방법은 감성 분석, 얼굴 정서 인식, 음성 인식과 같은 다양한 작업에 일반화된다.
• 6개의 주요 제공자(Google, Microsoft, Amazon, IBM, Baidu 및 기타)에 대한 실증적 평가를 통해 비용-정확도 트레이드오프에서 일관된 성과를 확인했다.