[論文レビュー] Rafiki: Machine Learning as an Analytics Service System

Wei Wang, Sheng Wang+5 more|arXiv (Cornell University)|Apr 17, 2018

Data Stream Mining Techniques参考文献 30被引用数 15

ひとこと要約

Rafikiは、データベースユーザーがSQL互換インターフェースを通じて、特にディープラーニングモデルを簡単にトレーニングおよびデプロイできるクラウドベースの機械学習サービスシステムです。分散型ハイパーパramータチューニングをサポートし、推論遅延と精度のバランスをとるオンラインアンサンブルモデリングを実装することで、ビッグデータ分析ワークロードにおける非エキスパートユーザーの使いやすさとパフォーマンスを顕著に向上させます。

ABSTRACT

Big data analytics is gaining massive momentum in the last few years. Applying machine learning models to big data has become an implicit requirement or an expectation for most analysis tasks, especially on high-stakes applications.Typical applications include sentiment analysis against reviews for analyzing on-line products, image classification in food logging applications for monitoring user's daily intake and stock movement prediction. Extending traditional database systems to support the above analysis is intriguing but challenging. First, it is almost impossible to implement all machine learning models in the database engines. Second, expertise knowledge is required to optimize the training and inference procedures in terms of efficiency and effectiveness, which imposes heavy burden on the system users. In this paper, we develop and present a system, called Rafiki, to provide the training and inference service of machine learning models, and facilitate complex analytics on top of cloud platforms. Rafiki provides distributed hyper-parameter tuning for the training service, and online ensemble modeling for the inference service which trades off between latency and accuracy. Experimental results confirm the efficiency, effectiveness, scalability and usability of Rafiki.

研究の動機と目的

• 複雑な分析において、ディープラーニングの専門知識が不要な状態で機械学習をデータベースシステムに統合する課題に対処すること。
• スケーラブルで分散型のハイパーパramータチューニングサービスを提供することで、モデルトレーニングとチューニングの負担を軽減すること。
• 精度と応答時間のトレードオフを最適化する適応型オンラインアンサンブルモデリングにより、効率的で低遅延の推論を実現すること。
• データアップロードからモデルトレーニング、デプロイ、クエリまでを、クラウドベースの分析プラットフォーム内でエンドツーエンドでサポートすること。
• UDFとWeb APIを介して機械学習の複雑さを抽象化することで、データベース開発者の使いやすさを向上させること。

提案手法

• Rafikiは、機械学習モデルをWeb APIとして公開するクラウドネイティブプラットフォームを提供し、ユーザー定義関数（UDF）を介してSQLクエリと統合可能である。
• 複数のワーカー上で並列化されたトレーニングジョブを用いて、モデルパフォーマンスを効率的に最適化する分散型ハイパーパramータチューニングをサポートする。
• 推論では、リクエスト負荷とパフォーマンスのトレードオフに基づき、アンサンブルに含めるモデル数を動的に調整するオンラインアンサンブルモデリングを採用する。
• 強化学習ベースのコントローラーを用いて、リアルタイムでアンサンブルサイズをチューニングすることで、精度と遅延のバランスをとる。
• 強化学習コントローラーの報酬関数は、精度と遅延リクエストペナルティを組み合わせており、調整可能なトレードオフパramータβを備える。
• モデルライフサイクル管理（再トレーニングと再デプロイ）をサポートし、既存のSQLクエリとの後方互換性を保証する。

実験結果

リサーチクエスチョン

• RQ1 データベース分析パイプライン内で、特定のデータセットに対して機械学習モデルを効率的かつ自動的にチューニングする方法は何か？
• RQ2 プロダクション環境における機械学習サービスにおいて、推論遅延と予測精度の最適なトレードオフは何か？
• RQ3 低レベルの機械学習知識がなくても、非エキスパートのデータベースユーザーが複雑なディープラーニングモデルを効果的に活用する方法は何か？
• RQ4 クラウドベースのシステムは、ハイパーパramータチューニングと推論をスケーリングしながら、低遅延と高い精度を維持できるか？
• RQ5 動的アンサンブルモデリングは、変動するリクエストワークロードにどのように適応し、パフォーマンスと使いやすさを維持するか？

主な発見

• Rafikiは分散型ハイパーパramータチューニングにおいて高い効率性とスケーラビリティを達成し、複雑なモデルのトレーニング時間を顕著に短縮した。
• オンラインアンサンブルモデリングアプローチは、高負荷下で固定アンサンブルベースラインと比較して、遅延リクエストを最大60％削減した一方で、競争力のある精度を維持した。
• 強化学習コントローラーはリクエスト到着レートに適応し、高負荷時にはモデル数を減らしてスループットを向上させ、遅延リクエストを減らした。
• 報酬関数のβ=1の場合、β=0と比較して遅延リクエストを45％削減したが、わずかに精度が低下した。これは、効果的な遅延制御を示している。
• システムはディープラーニングのSQLワークフローへのシームレスな統合を可能にした：Rafikiでモデルを再トレーニングしても、既存のSQLクエリに変更は不要で、後方互換性が保証された。
• 事例研究では、Rafikiがフィルタリングされた行でのオンデマンド推論を可能にすることで、開発時間と計算リソースの無駄を削減し、食品ログのような実世界の応用において効率性を向上させた。