[論文レビュー] AutoML from Service Provider's Perspective: Multi-device, Multi-tenant Model Selection with GP-EI

Chen Yu, Bojan Karlaš+3 more|arXiv (Cornell University)|Mar 17, 2018

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、複数のユーザーが限られた計算デバイスを共有するAutoMLサービスプロバイダが、グローバルユーザー満足度を最適化するために、知的に限られた計算デバイスを複数ユーザーに割り当てるマルチデバイス・マルチテナントGP-EIアルゴリズムを提案する。ランダムまたはラウンドロビンスケジューリングと比較して、ほぼ線形のスループット向上を達成し、レグレットを顕著に低減する。理論的レグレットバウンドは $O((\text{MIU}(T,K)+M)\frac{N^2}{M})$ である。

ABSTRACT

AutoML has become a popular service that is provided by most leading cloud service providers today. In this paper, we focus on the AutoML problem from the \emph{service provider's perspective}, motivated by the following practical consideration: When an AutoML service needs to serve {\em multiple users} with {\em multiple devices} at the same time, how can we allocate these devices to users in an efficient way? We focus on GP-EI, one of the most popular algorithms for automatic model selection and hyperparameter tuning, used by systems such as Google Vizer. The technical contribution of this paper is the first multi-device, multi-tenant algorithm for GP-EI that is aware of \emph{multiple} computation devices and multiple users sharing the same set of computation devices. Theoretically, given $N$ users and $M$ devices, we obtain a regret bound of $O(( ext{\bf {MIU}}(T,K) + M)\frac{N^2}{M})$, where $ ext{\bf {MIU}}(T,K)$ refers to the maximal incremental uncertainty up to time $T$ for the covariance matrix $K$. Empirically, we evaluate our algorithm on two applications of automatic model selection, and show that our algorithm significantly outperforms the strategy of serving users independently. Moreover, when multiple computation devices are available, we achieve near-linear speedup when the number of users is much larger than the number of devices.

研究の動機と目的

• 複数のユーザーが限られた数の計算デバイスを共有するAutoMLサービスにおける、効率的なリソース割り当ての課題に対処すること。
• すべてのユーザーのグローバルな「満足度」を最大化するコスト感受性でスケーラブルなアルゴリズムを開発し、すべてのユーザーの累積的レグレットを最小化すること。
• 共有リソース割り当ての文脈において、マルチデバイス・マルチテナントGP-EIの理論的レグレットバウンドを提供すること。
• 現実世界のAutoMLワークロードにおいて、ランダムまたはラウンドロビン割り当てといった単純なスケジューリング戦略を改善すること。
• 特にユーザー数がデバイス数を上回る状況において、複数デバイスが利用可能な場合に、収束時間の近似的な線形スケーリングを実現すること。

提案手法

• 提案されたMM-GP-EIアルゴリズムは、最大インクリメンタル不確実性（MIU）を用いて、ユーザーのガウス過程事前分布間の依存関係をモデル化し、期待改善度に基づいてユーザーの優先順位を決定する。
• 各ユーザーは自身のGP-EIインスタンスを維持し、ハイパーパrameterの共有事前分布を共有する。システムは、MIUとデバイス利用可能性を考慮した重み付きアセスメント関数に基づいて、次にサービスを提供するユーザーを選択する。
• 上界信頼区間（UCB）スタイルのアセスメント関数を用いて、ユーザー間での探索と活用のバランスを図り、不確実性と期待利益に基づいて動的に重みを再調整する。
• アルゴリズムは、単位時間あたりの期待改善度が最大となるユーザーにデバイスを動的に割り当てることで、限られたハードウェアリソースを効率的に活用する。
• 効率的な実装では、共有共分散行列とMIUのインクリメンタル更新を用いることで、スケジューリング意思決定時の計算オーバーヘッドを低減する。
• 特に初期段階で不確実性が高い状況において、性能向上の可能性が最も高いユーザーを優先することで、レグレットを最小化する。

実験結果

リサーチクエスチョン

• RQ1 共有AutoML環境におけるグローバルユーザー満足度を最適化するマルチデバイス・マルチテナントGP-EIアルゴリズムをどのように設計できるか？
• RQ2 共有デバイス制約下で、そのようなアルゴリズムの理論的レグレットバウンドは何か？
• RQ3 提案されたアルゴリズムは、収束速度とレグレット低減の観点で、ランダムおよびラウンドロビンスケジューリングと比べてどのように異なるか？
• RQ4 デバイス数を増やした場合に、アルゴリズムは近似的に線形のスループット向上を達成するか？
• RQ5 どのような条件下で、アルゴリズムはベースライン戦略と比較して最も顕著な性能向上を示すか？

主な発見

• マルチテナントGP-EIは、Azureデータセットにおいて、ランダムおよびラウンドロビンスケジューリングと比較して、同じ水準の即時のレグレットに到達するまでの収束が最大5倍速くなった。
• Azureデータセットでは、提案手法がラウンドロビンスケジューリングと比較して、目標とする即時のレグレット水準に到達するまでの速度が5倍向上した。
• ユーザー数がデバイス数を上回る状況で、特にスループット向上が顕著に現れ、デバイス数の増加に伴い収束時間の近似的な線形改善が観察された。
• 50ユーザーと50モデルを含む合成データセットでの実験では、デバイス数の増加に伴い収束時間がほぼ線形に短縮された。
• 理論的レグレットバウンド $O((\text{MIU}(T,K)+M)\frac{N^2}{M})$ は最適レートに収束し、観察されたスループット向上の挙動を支持する。
• DeepLearningデータセットでは、初期精度の分散が小さい（Azureの0.12対0.04）ため、初期試行後の改善の余地が小さく、性能向上が限定的であった。