[論文レビュー] NSML: Meet the MLaaS platform with a real-world case study

Hanjoo Kim, Minkyu Kim+10 more|arXiv (Cornell University)|Oct 8, 2018

Scientific Computing and Data Management参考文献 22被引用数 109

ひとこと要約

NSML はエンタープライズ規模の ML タスクの環境セットアップ、リソース管理、協調、デプロイを簡素化するための MLaaS プラットフォームです。実世界のケーススタディや競技を通じて有用性を示します。

ABSTRACT

The boom of deep learning induced many industries and academies to introduce machine learning based approaches into their concern, competitively. However, existing machine learning frameworks are limited to sufficiently fulfill the collaboration and management for both data and models. We proposed NSML, a machine learning as a service (MLaaS) platform, to meet these demands. NSML helps machine learning work be easily launched on a NSML cluster and provides a collaborative environment which can afford development at enterprise scale. Finally, NSML users can deploy their own commercial services with NSML cluster. In addition, NSML furnishes convenient visualization tools which assist the users in analyzing their work. To verify the usefulness and accessibility of NSML, we performed some experiments with common examples. Furthermore, we examined the collaborative advantages of NSML through three competitions with real-world use cases.

研究の動機と目的

• 環境設定、依存関係管理、協調、スケーラブルなリソース利用を扱う統合型 ML プラットフォームの必要性を喚起する。
• 自動リソース割り当て、スケジューリング、データ/モデルの共有、モニタリング、ハイパーパラメータ調整、リーダーボードをサポートする実用的な MLaaS ソリューションとして NSML を提案する。
• 実世界のケーススタディと競技を通じて NSML の実用性と頑健性を検証する。

提案手法

• NSML をリソース管理（スケジューラ、仮想化）とユーザーインタラクション（CLI/ウェブUI）の二つのモジュール系統として導入する。
• locality-aware scheduling（場所を意識したスケジューリング）と残余リソースの断片化解消を実装してデータ配置と GPU 使用効率を最適化する。
• ユーザーと管理者向けにアラートとダッシュボードを用いたセッションとリソースの監視を提供する。
• オンデマンドデータセット読み込みと協調のための公開/非公開共有を含むデータセット管理を提供する。
• セッションを比較し進捗を追跡するためのウェブベースの可視化インターフェース（Visdom/TensorBoard）を提供する。
• 並列でのハイパーパラメータ調整をサポートする（グリッド/ランダム探索、Population-Based Training などの高度な手法）。

実験結果

リサーチクエスチョン

• RQ1 エンタープライズ規模の ML タスクにおいて、環境設定、協調、リソース利用を統合した MLaaS プラットフォームはどのように改善されるか？
• RQ2 NSML のスケジューリング、監視、可視化ツールはチーム間の効率的な実験と再現性を実現できるか？
• RQ3 NSML 上の競技と実世界のケーススタディは、使いやすさ、頑健性、ML モデルの商用化の可能性を示しているか？
• RQ4 NSML の制限は何か、将来の改善点は何か（データセットのバージョン管理、複数データセットタスク、進化的な可視化、分散学習）？

主な発見

• NSML は GPU クラスタで効率的なリソース管理を実現し、高い利用率を達成し、スケーラブルな実験を可能にする。
• データセット共有、チーム作業領域、再現可能なセッションを通じて協調作業をサポートする。
• NSML は複数のインターフェース（CLI とウェブ）と可視化ツール（Visdom/TensorBoard）を提供し、モデルとハイパーパラメータを分析・比較できる。
• NSML 上の3つの ML 競技は使いやすさを示し、最良モデルが顧客の実サービスのベースラインを改善できることを示した。
• 監視ツールは GPU 利用意識を高め、コードを最適化してリソース効率を改善するのに役立った。