[논문 리뷰] Amazon SageMaker Automatic Model Tuning: Scalable Black-box Optimization

Valerio Perrone, Huibin Shen외 13명|arXiv (Cornell University)|2020. 12. 15.

Machine Learning and Data Classification인용 수 3

한 줄 요약

Amazon SageMaker Automatic Model Tuning (AMT)는 랜덤 서치 또는 베이지안 최적화를 사용하여 최적의 머신러닝 모델 구성 설정을 자동으로 탐색하는 완전 관리형이고 확장 가능한 블랙박스 하이퍼파rameter 최적화 시스템입니다. 사용자가 정의한 메트릭을 기반으로 다양한 하이퍼파rameter로 반복적으로 모델을 훈련시키고 최고 성능을 내는 구성 설정을 선택함으로써 모델 성능을 향상시킵니다.

ABSTRACT

Tuning complex machine learning systems is challenging. Machine learning models typically expose a set of hyperparameters, be it regularization, architecture, or optimization parameters, whose careful tuning is critical to achieve good performance. To democratize access to such systems, it is essential to automate this tuning process. This paper presents Amazon SageMaker Automatic Model Tuning (AMT), a fully managed system for black-box optimization at scale. AMT finds the best version of a machine learning model by repeatedly training it with different hyperparameter configurations. It leverages either random search or Bayesian optimization to choose the hyperparameter values resulting in the best-performing model, as measured by the metric chosen by the user. AMT can be used with built-in algorithms, custom algorithms, and Amazon SageMaker pre-built containers for machine learning frameworks. We discuss the core functionality, system architecture and our design principles. We also describe some more advanced features provided by AMT, such as automated early stopping and warm-starting, demonstrating their benefits in experiments.

연구 동기 및 목표

• 머신러닝 모델의 하이퍼파rameter 튜닝 과정을 자동화하여 전문가의 간섭을 최소화합니다.
• 다양한 머신러닝 프레임워크와 알고리즘에서 블랙박스 최적화를 위한 확장 가능하고 완전 관리형 솔루션을 제공합니다.
• Amazon SageMaker의 사전 구축된 컨테이너와의 통합을 통해 내장 알고리즘과 커스텀 알고리즘 모두를 지원합니다.
• 자동 조기 정지 및 하이퍼파rameter 검색의 웜스타트와 같은 고급 기능을 통해 효율성을 향상시킵니다.
• 하이퍼파rameter 튜닝의 복잡성을 추상화하여 고성능 머신러닝 모델에 대한 접근성을 넓힙니다.

제안 방법

• AMT는 반복적인 모델 훈련을 위해 하이퍼파rameter 구성 설정을 선택하기 위해 랜덤 서치 또는 베이지안 최적화를 사용합니다.
• 시스템은 각 구성 설정을 사용자가 정의한 성능 메트릭 기반으로 평가하고 최고 성능을 내는 모델을 선택합니다.
• Amazon SageMaker의 내장 알고리즘, 커스텀 알고리즘, 인기 있는 머신러닝 프레임워크용 사전 구축된 컨테이너와의 통합을 지원합니다.
• AMT는 성능이 열악한 훈련 작업을 조기에 종료함으로써 자원을 절약하기 위해 자동 조기 정지를 구현합니다.
• 이전에 알려진 양호한 구성 설정을 기반으로 검색을 초기화함으로써 수렴 속도를 높이는 웜스타트를 지원합니다.
• 가로 방향 확장성에 최적화된 아키텍처를 통해 대규모 분산 훈련 환경에서 효율적인 튜닝을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 다양한 머신러닝 모델에서 고성능을 유지하면서도 대규모로 하이퍼파라미터 튜닝을 자동화할 수 있는 방법은 무엇인가요?
• RQ2 관리형, 프로덕션 수준 환경에서 베이지안 최적화와 랜덤 서치의 상대적 이점은 무엇인가요?
• RQ3 자동 조기 정지와 웜스타트 기능은 훈련 시간을 단축하고 최적화 효율성을 향상시키는 데 얼마나 효과적인가요?
• RQ4 완전 관리형 시스템은 비전문가 사용자들이 하이퍼파라미터 튜닝에 접근하고 사용하는 데 어떤 방식으로 향상시킬 수 있나요?
• RQ5 다양한 프레임워크와 구성 설정을 통해 복잡한 모델을 튜닝할 때 시스템은 확장성과 신뢰성을 어떻게 유지합니까?

주요 결과

• AMT는 최적의 하이퍼파라미터 구성 설정을 자동으로 선택함으로써 머신러닝 모델 튜닝에 필요한 수동 작업을 크게 줄입니다.
• 제어된 실험에서 베이지안 최적화의 통합은 랜덤 서치에 비해 고성능 모델에 더 빠르게 수렴함을 보여줍니다.
• 자동 조기 정지는 성능이 열악한 시도를 조기에 식별하고 종료함으로써 훈련 시간을 단축하고 자원 효율성을 향상시킵니다.
• 웜스타트 기능은 효과적인 하이퍼파라미터 구성 설정에 대한 이전 지식을 활용함으로써 최적화 과정의 속도를 가속화합니다.
• SageMaker의 사전 구축된 컨테이너를 통해 다양한 머신러닝 프레임워크와 커스텀 알고리즘에서의 사용 시 시스템은 확장성과 신뢰성을 입증합니다.
• 사용자가 정의한 메트릭이 최적화 과정을 이끌어 응용 프로그램의 특정 성능 목표와 일치시킵니다.