[論文レビュー] Multi-device, Multi-tenant Model Selection with GP-EI.

Yu Chen, Bojan Karlaš+3 more|arXiv (Cornell University)|Mar 17, 2018

Advanced Bandit Algorithms Research参考文献 16被引用数 3

ひとこと要約

本論文は、AutoMLにおけるベイズ最適化のためのGP-EIのマルチデバイス・マルチテナント拡張を提案し、複数のユーザーとデバイス間で効率的なリソース割り当てを可能にしている。レグレットバウンドは $O((\text{MIU}(T,K) + M)\frac{N^2}{M})$ を達成し、ユーザー数がデバイス数に比べて著しく多い場合に近線形のスループット向上を示し、独立したユーザースケジューリングを著しく上回る性能を発揮する。

ABSTRACT

Bayesian optimization is the core technique behind the emergence of AutoML, which holds the promise of automatically searching for models and hyperparameters to make machine learning techniques more accessible. As such services are moving towards the cloud, we ask -- {\em When multiple AutoML users share the same computational infrastructure, how should we allocate resources to maximize the global happiness of all users?} We focus on GP-EI, one of the most popular algorithms for automatic model selection and hyperparameter tuning, and develop a novel multi-device, multi-tenant extension that is aware of \emph{multiple} computation devices and multiple users sharing the same set of computation devices. Theoretically, given $N$ users and $M$ devices, we obtain a regret bound of $O(( ext{\bf {MIU}}(T,K) + M)\frac{N^2}{M})$, where $ ext{\bf {MIU}}(T,K)$ refers to the maximal incremental uncertainty up to time $T$ for the covariance matrix $K$. Empirically, we evaluate our algorithm on two applications of automatic model selection, and show that our algorithm significantly outperforms the strategy of serving users independently. Moreover, when multiple computation devices are available, we achieve near-linear speedup when the number of users is much larger than the number of devices.

研究の動機と目的

• 複数のユーザーとデバイスが共存する共有クラウド基盤上のAutoMLシステムにおける、効率的なリソース割り当ての課題に対処すること。
• 理論的性能保証を維持したまま、GP-EIアルゴリズムをマルチテナントおよびマルチデバイス環境に対応させる拡張を実現すること。
• ユーザーとデバイス間の計算リソースの最適割り当てを通じて、グローバルなユーザー満足度を最大化すること。
• 分散型で共有された計算インfraストラクチャにおいて、スケーラブルかつ効率的なハイパーパramータチューニングを実現すること。

提案手法

• 最適化プロセスにおけるユーザー間およびデバイス間の依存関係をモデル化することで、GP-EIを複数のユーザーとデバイスに対応させる。
• 時間経過に伴う共分散行列における最大増分不確実性（MIU）を考慮したレグレット解析フレームワークを導入する。
• ユーザーの要請と不確実性低減の潜在的効果に基づき、計算時間を動的にデバイス間で割り当てる。
• 理論的レグレットバウンドが $O((\text{MIU}(T,K) + M)\frac{N^2}{M})$ に比例するように設計され、ここで $N$ はユーザー数、$M$ はデバイス数を表す。
• テナント間のベイズ最適化プロセスの整合性を保ちながら、デバイス間で並列実行を可能にする。

実験結果

リサーチクエスチョン

• RQ1 共有インfraストラクチャ上での複数ユーザーおよびデバイスを対象としたベイズ最適化をどのように拡張できるか？
• RQ2 マルチテナント・マルチデバイス環境下でのGP-EIに対して、どのような理論的レグレットバウンドが達成可能か？
• RQ3 ユーザー数が利用可能なデバイス数に比べて増加する場合、提案手法はどのようにスケーリングするか？
• RQ4 ユーザー数がデバイス数に比べて著しく多い場合に、アルゴリズムは近線形のスループット向上を達成できるか？

主な発見

• 提案手法は、$O((\text{MIU}(T,K) + M)\frac{N^2}{M})$ のレグレットバウンドを達成し、マルチテナント・マルチデバイス最適化における理論的保証を提供する。
• 実験的評価により、2つの自動モデル選択応用において、独立したユーザースケジューリング戦略に比べて顕著な性能向上が確認された。
• 複数のデバイスが利用可能で、ユーザー数がデバイス数に比べて著しく多い場合、近線形のスループット向上が達成された。
• 共有環境における計算効率を維持しながら、ユーザー間で探索と活用のバランスを効果的にとる。