[論文レビュー] NSML: A Machine Learning Platform That Enables You to Focus on Your Models

Nako Sung, Minkyu Kim+9 more|arXiv (Cornell University)|Dec 16, 2017

Machine Learning and Data Classification参考文献 13被引用数 70

ひとこと要約

NSML はリソース管理、データ処理、実験の追跡、そしてリーダーボード比較を自動化し、研究者がモデル開発に集中できるようにする; 80 GPU でのプロトタイプはアルファテストで効率向上を示した。

ABSTRACT

Machine learning libraries such as TensorFlow and PyTorch simplify model implementation. However, researchers are still required to perform a non-trivial amount of manual tasks such as GPU allocation, training status tracking, and comparison of models with different hyperparameter settings. We propose a system to handle these tasks and help researchers focus on models. We present the requirements of the system based on a collection of discussions from an online study group comprising 25k members. These include automatic GPU allocation, learning status visualization, handling model parameter snapshots as well as hyperparameter modification during learning, and comparison of performance metrics between models via a leaderboard. We describe the system architecture that fulfills these requirements and present a proof-of-concept implementation, NAVER Smart Machine Learning (NSML). We test the system and confirm substantial efficiency improvements for model development.

研究の動機と目的

• 大規模なオンライン ML コミュニティからの効率的な深層学習研究の実用的な要件を定義する。
• 付随タスクを自動化する深層学習研究プラットフォーム（NSML）の設計と実装。
• 実世界のタスクで NSML をデモンストレーションし、効率向上と使いやすさを示す。

提案手法

• リソース割り当てのためのマスター-スレーブアーキテクチャを備えた集中型スケジューラと、SPOFを避けるリーダー選出メカニズム。
• データ/ストレージをモデル環境から分離し、ライブラリのアイソレーションを可能にするコンテナ化されたストレージと ML コンテナ。
• ユーザーインタラクションのためのWebベースのUIと NSML-CLI、自動環境パッケージングとデータセットのマウントを備える。
• Python API とコンテナ化環境を介して複数の深層学習ライブラリ（TensorFlow、PyTorch、MXNet）をサポート。
• REPL風のワークフローと Kaggle風リーダーボードによる比較機能を用いた訓練中のハイパーパラメータチューニングとモデル評価。
• MNIST、GANベースの顔生成、BiLSTMによる映画評価予測、CNNベースの表情認識でのアルファテストデモンストレーション。

実験結果

リサーチクエスチョン

• RQ1 GPU割り当てや実験追跡といった手作業を削減するために、ML研究ワークフローをどのように効率化できるか？
• RQ2 再現性を維持しつつ、複数のライブラリとサーバーレス利用をサポートするプラットフォームは実現可能か？
• RQ3 自動化されたリソース管理とリーダーボード主導の比較は、研究の効率性にどのような影響を及ぼすか？
• RQ4 異なるML領域における実世界のタスクでの NSML の有効性はどの程度か？

主な発見

• NSML は自動的な GPU 割り当て、データセット管理、実験の可視化を提供し、手作業を削減します。
• プラットフォームは複数のライブラリ（TensorFlow、PyTorch、MXNet）と単一 GPU および GPU クラスターの両方をサポートします。
• 組み込みのリーダーボードは、データセット間でモデルとハイパーパラメータの比較を容易にします。
• アルファテスターは、使いやすさと研究効率の向上を報告しましたが、初期テスト中にはシステムの不安定性が一部指摘されました。
• NSML は実験のライブ可視化と再現を可能にし、再現性と迅速な反復を支援します。
• MNIST、GANベースの顔生成、映画評価予測、表情認識でのデモンストレーションは、実用性を示しました。