[논문 리뷰] MLModelScope: A Distributed Platform for ML Model Evaluation and Benchmarking at Scale

Abdul Dakkak, Cheng Li외 2명|arXiv (Cornell University)|2019. 09. 25.

Machine Learning in Materials Science참고 문헌 28인용 수 4

한 줄 요약

MLModelScope는 기반 프레임워크와 하드웨어에 구애받지 않는 오픈소스 플랫폼으로, 기계학습 모델의 확장성 있고 반복 가능하며 공정한 평가 및 벤치마킹을 가능하게 합니다. 웹, 명령줄 인터페이스, 라이브러리 인터페이스를 통해 분산 실행을 지원하며, 파이프라인 구성과 하드웨어/소프트웨어 스택이 모델 정확도와 성능에 미치는 영향을 보여줍니다.

ABSTRACT

Machine Learning (ML) and Deep Learning (DL) innovations are being introduced at such a rapid pace that researchers are hard-pressed to analyze and study them. The complicated procedures for evaluating innovations, along with the lack of standard and efficient ways of specifying and provisioning ML/DL evaluation, is a major pain point for the community. This paper proposes MLModelScope, an open-source, framework/hardware agnostic, extensible and customizable design that enables repeatable, fair, and scalable model evaluation and benchmarking. We implement the distributed design with support for all major frameworks and hardware, and equip it with web, command-line, and library interfaces. To demonstrate MLModelScope's capabilities we perform parallel evaluation and show how subtle changes to model evaluation pipeline affects the accuracy and HW/SW stack choices affect performance.

연구 동기 및 목표

• 기계학습/딥러닝 혁신 평가를 위한 표준화되고 효율적이며 재현 가능한 방법의 부족을 해결하기 위해.
• 모든 주요 기계학습 프레임워크와 하드웨어 가속기들을 지원하는 분산형, 확장 가능하고 커스터마이징 가능한 플랫폼을 설계하기 위해.
• 표준화된 파이프라인과 재현 가능한 설정을 통해 공정하고 확장 가능한 모델 평가를 가능하게 하기 위해.
• 연구 및 생산 워크플로우 전반에서 넓은 사용성을 확보하기 위해 웹, CLI, 라이브러리 인터페이스를 제공하기 위해.
• 평가 파이프라인 설계와 하드웨어/소프트웨어 스택 선택이 모델 정확도와 성능에 미치는 영향을 실증적으로 입증하기 위해.

제안 방법

• 기반 하드웨어와 프레임워크에서 모델 평가 로직을 분리하는 분산 아키텍처 설계.
• 주요 기계학습 프레임워크(예: PyTorch, TensorFlow)와 하드웨어 가속기들을 통합할 수 있도록 플러그인 기반의 확장성 모델 구현.
• 평가 파이프라인을 정의하기 위한 표준화된 구성 스키마 제공로 재현 가능성과 버전 관리 가능하게 하기.
• 분산 작업 스케줄러를 통해 이질적인 하드웨어 간에 모델 평가를 병렬 실행 지원.
• 인터랙티브 탐색을 위한 웹 인터페이스, 자동화를 위한 CLI, 통합을 위한 프로그래밍 가능한 라이브러리 API를 통해 플랫폼 노출.
• 모든 테스트 실행에서 일관된 데이터 로딩, 전처리 및 메트릭 계산을 기반으로 평가의 공정성 확보.

실험 결과

연구 질문

• RQ1 다양한 프레임워크와 하드웨어 플랫폼 간에 어떻게 기계학습 모델 평가를 표준화하고 확장할 수 있을까?
• RQ2 평가 파이프라인의 미세한 변화가 모델 정확도와 성능 메트릭에 어느 정도의 영향을 미치는가?
• RQ3 실제 환경에서 하드웨어와 소프트웨어 스택 선택이 모델 추론 및 학습 성능에 어떻게 영향을 미치는가?
• RQ4 통합적이고 확장 가능한 플랫폼은 기계학습 벤치마킹의 복잡성을 줄이고 재현 가능성을 높일 수 있는가?
• RQ5 다양한 평가 파이프라인 구성 설정을 사용할 경우 성능와 정확도 간의 상호 트레이드오프는 어떠한가?

주요 결과

• MLModelScope는 이질적인 하드웨어를 통해 모델의 병렬 평가를 가능하게 하여 벤치마킹 시간을 크게 단축시킵니다.
• 데이터 셔플링이나 정규화와 같은 평가 파이프라인의 미세한 변화가 보고된 모델 정확도에 측정 가능한 영향을 미칠 수 있습니다.
• GPU 유형과 프레임워크 버전을 포함한 하드웨어 및 소프트웨어 스택 선택은 모델 추론 및 학습 성능에 측정 가능한 변동을 초래합니다.
• 플랫폼의 표준화된 구성 및 인터페이스 설계로 벤치마킹 워크플로우에서 구성 오류가 감소하고 재현 가능성이 향상됩니다.
• 웹 및 CLI 인터페이스를 통해 연구자들은 대규모 평가 캠프이그를 효율적으로 관리하고 모니터링할 수 있습니다.
• 라이브러리 인터페이스를 통해 기존 기계학습 연구 및 CI/CD 워크플로우에 원활하게 통합할 수 있습니다.