[논문 리뷰] Multi-device, Multi-tenant Model Selection with GP-EI.

Yu Chen, Bojan Karlaš외 3명|arXiv (Cornell University)|2018. 03. 17.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 3

한 줄 요약

이 논문은 AutoML에서 베이지안 최적화를 위한 GP-EI의 다기기, 다세터 확장 방안을 제안하며, 여러 사용자와 기기 간 효율적인 자원 할당을 가능하게 한다. 이는 $O((\text{MIU}(T,K) + M)\frac{N^2}{M})$의 리그레트 한계를 달성하며, 사용자 수가 기기 수에 비해 훨씬 많을 경우 거의 선형적 속도 향상을 보이며, 독립적인 사용자 스케줄링 방식보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

Bayesian optimization is the core technique behind the emergence of AutoML, which holds the promise of automatically searching for models and hyperparameters to make machine learning techniques more accessible. As such services are moving towards the cloud, we ask -- {\em When multiple AutoML users share the same computational infrastructure, how should we allocate resources to maximize the global happiness of all users?} We focus on GP-EI, one of the most popular algorithms for automatic model selection and hyperparameter tuning, and develop a novel multi-device, multi-tenant extension that is aware of \emph{multiple} computation devices and multiple users sharing the same set of computation devices. Theoretically, given $N$ users and $M$ devices, we obtain a regret bound of $O(( ext{\bf {MIU}}(T,K) + M)\frac{N^2}{M})$, where $ ext{\bf {MIU}}(T,K)$ refers to the maximal incremental uncertainty up to time $T$ for the covariance matrix $K$. Empirically, we evaluate our algorithm on two applications of automatic model selection, and show that our algorithm significantly outperforms the strategy of serving users independently. Moreover, when multiple computation devices are available, we achieve near-linear speedup when the number of users is much larger than the number of devices.

연구 동기 및 목표

• 여러 사용자와 기기가 공존하는 공유 클라우드 기반 AutoML 시스템에서 효율적인 자원 할당 문제를 해결하기 위해.
• 이론적 성능 보장을 유지하면서 GP-EI 알고리즘을 다세터 및 다기기 환경으로 확장하기 위해.
• 사용자 및 기기 간 계산 자원 할당을 최적화하여 전반적인 사용자 만족도를 극대화하기 위해.
• 분산된 공유 계산 인프라에서 확장 가능하고 효율적인 하이퍼파rameter 튜닝을 달성하기 위해.

제안 방법

• 최적화 과정에서 사용자 간 및 기기 간 의존성을 모델링하여 GP-EI를 다수의 사용자와 기기에서 지원하도록 확장한다.
• 시간이 지남에 따라 공분산 행렬 내 최대 증분 불확실성(MIU)을 고려하는 리그레트 분석 프레임워크를 도입한다.
• 사용자 수요와 불확실성 감소 잠재력에 기반해 계산 시간을 동적으로 기기 간에 할당한다.
• 이론적 리그레트 한계가 $O((\text{MIU}(T,K) + M)\frac{N^2}{M})$로 스케일링되며, 여기서 $N$은 사용자 수이고 $M$은 기기 수이다.
• 다양한 기기 간 병렬 실행을 가능하게 하면서도, 세터 간 베이지안 최적화 과정의 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 공유 인프라에서 여러 사용자와 기기를 지원하기 위해 베이지안 최적화를 어떻게 확장할 수 있는가?
• RQ2 GP-EI에 대해 다세터, 다기기 환경에서 이론적 리그레트 한계는 무엇을 달성할 수 있는가?
• RQ3 사용자 수가 가용 기기 수에 비해 증가함에 따라 제안된 방법은 어떻게 스케일링되는가?
• RQ4 사용자 수가 기기 수에 비해 훨씬 많을 경우 알고리즘이 거의 선형적 속도 향상을 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 $O((\text{MIU}(T,K) + M)\frac{N^2}{M})$의 리그레트 한계를 달성하여 다세터, 다기기 최적화에 대한 이론적 보장을 제공한다.
• 실증 평가에서 두 가지 자동 모델 선택 응용 사례에서 독립적인 사용자 스케줄링 전략 대비 뚜렷한 성능 향상을 보였다.
• 여러 기기가 가용할 때 사용자 수가 기기 수에 비해 훨씬 많아지면, 이 방법은 거의 선형적 속도 향상을 달성한다.
• 공유 환경에서 계산 효율성을 유지하면서도 사용자 간 탐색과 이용의 균형을 효과적으로 유지한다.