[논문 리뷰] NSML: A Machine Learning Platform That Enables You to Focus on Your Models

Nako Sung, Minkyu Kim외 9명|arXiv (Cornell University)|2017. 12. 16.

Machine Learning and Data Classification참고 문헌 13인용 수 70

한 줄 요약

NSML은 연구자가 모델 개발에 집중할 수 있도록 자원 관리, 데이터 처리, 실험 추적 및 리더보드 비교를 자동화합니다. 80 GPUs에서의 프로토타입은 alpha tests에서 효율성 향상을 보였습니다.

ABSTRACT

Machine learning libraries such as TensorFlow and PyTorch simplify model implementation. However, researchers are still required to perform a non-trivial amount of manual tasks such as GPU allocation, training status tracking, and comparison of models with different hyperparameter settings. We propose a system to handle these tasks and help researchers focus on models. We present the requirements of the system based on a collection of discussions from an online study group comprising 25k members. These include automatic GPU allocation, learning status visualization, handling model parameter snapshots as well as hyperparameter modification during learning, and comparison of performance metrics between models via a leaderboard. We describe the system architecture that fulfills these requirements and present a proof-of-concept implementation, NAVER Smart Machine Learning (NSML). We test the system and confirm substantial efficiency improvements for model development.

연구 동기 및 목표

• 큰 온라인 ML 커뮤니티로부터 효율적인 딥 러닝 연구를 위한 실용적 요구사항을 정의한다.
• 보조 작업을 자동화하는 딥 러닝 연구 플랫폼(NSML)을 설계하고 구현한다.
• 현실 세계의 작업에서 NSML을 시연하여 효율성 향상과 사용성을 보여준다.

제안 방법

• 자원 할당을 위한 마스터-슬레이브 아키텍처를 갖춘 중앙 집중형 스케줄러와 SPOF를 피하기 위한 리더 선출 메커니즘.
• 데이터/저장소를 모델 환경과 분리하고 라이브러리 격리를 가능하게 하는 컨테이너화된 스토리지 및 ML 컨테이너.
• 웹 기반 UI 및 NSML-CLI를 통한 사용자 상호작용, 자동 환경 패키징 및 데이터셋 마운트를 포함.
• Python API 및 컨테이너화된 환경을 통해 여러 딥 러닝 라이브러리(TensorFlow, PyTorch, MXNet)를 지원.
• REPL 유사 워크플로우와 Kaggle-like 리더보드를 통한 비교를 사용하여 훈련 중 하이퍼파라미터 튜닝 및 모델 평가.
• MNIST, GAN-based face generation, BiLSTM movie rating prediction, 그리고 CNN-based facial emotion recognition에 대한 알파 테스트 시연.

실험 결과

연구 질문

• RQ1 ML 연구 워크플로를 어떻게 간소화하여 GPU 할당 및 실험 추적과 같은 수작업을 줄일 수 있을까?
• RQ2 재현성을 유지하면서 여러 라이브러리와 서버리스 사용을 플랫폼이 지원할 수 있을까?
• RQ3 자동화된 자원 관리와 리더보드 기반 비교가 연구 효율성에 미치는 영향은 무엇일까?
• RQ4 다양한 ML 도메인에서 실제 작업에서 NSML의 효과는 어느 정도일까?

주요 결과

• NSML은 수작업을 줄이기 위해 자동 GPU 할당, 데이터셋 관리 및 실험 시각화를 제공합니다.
• 플랫폼은 다수의 라이브러리(TensorFlow, PyTorch, MXNet)와 단일 GPU 및 GPU 클러스터를 모두 지원합니다.
• 내장 리더보드는 데이터세트 간 모델 및 하이퍼파라미터의 간편한 비교를 가능하게합니다.
• 알파 테스터는 사용성 및 연구 효율성 향상을 보고했으며 초기 테스트 중 일부 시스템 불안정성이 언급되었습니다.
• NSML은 실험의 실시간 시각화 및 재현을 가능하게 하여 재현성 및 빠른 반복에 도움을 줍니다.
• MNIST, GAN-based face generation, movie rating prediction, 그리고 facial emotion recognition에 대한 시연은 실용적 적용 가능성을 보여주었습니다.