[논문 리뷰] MLtuner: System Support for Automatic Machine Learning Tuning

Henggang Cui, Gregory R. Ganger외 1명|arXiv (Cornell University)|2018. 03. 20.

Machine Learning and Data Classification참고 문헌 43인용 수 5

한 줄 요약

MLtuner는 실행 중에 효율적인 스냅샷, 브랜치, 최적화 유도 시도-오류를 사용하여 학습률, 배치 크기, 데이터 노화도와 같은 핵심 기계학습 학습 초모수를 자동으로 튜닝하는 시스템이다. 이는 기존의 자동 튜닝 방법보다 속도 면에서 10배 이상 빠르며, 다양한 기계학습 워크로드, 특히 이미지 및 영상 분류에서 최초 설정이 열악하더라도 강인한 수렴성을 보이며 최첨단 성능을 달성한다.

ABSTRACT

MLtuner automatically tunes settings for training tunables (such as the learning rate, the momentum, the mini-batch size, and the data staleness bound) that have a significant impact on large-scale machine learning (ML) performance. Traditionally, these tunables are set manually, which is unsurprisingly error-prone and difficult to do without extensive domain knowledge. MLtuner uses efficient snapshotting, branching, and optimization-guided online trial-and-error to find good initial settings as well as to re-tune settings during execution. Experiments show that MLtuner can robustly find and re-tune tunable settings for a variety of ML applications, including image classification (for 3 models and 2 datasets), video classification, and matrix factorization. Compared to state-of-the-art ML auto-tuning approaches, MLtuner is more robust for large problems and over an order of magnitude faster.

연구 동기 및 목표

• 학습률 및 배치 크기와 같은 기계학습 초모수 튜닝의 수동적이고 실수를 범하기 쉬우며 전문 지식이 요구되는 과정을 해결하기 위해.
• 학습 중에 자동으로 온라인으로 적응 가능한 설정을 가능하게 하여 초모수 튜닝의 '블랙 아트'를 줄이기 위해.
• 이전 자동 튜닝 접근 방식의 높은 런타임 오버헤드 없이 학습 효율성과 수렴 품질을 향상시키기 위해.
• 대규모 문제를 포함하여 다양한 모델, 데이터셋, 하드웨어 구성에서 강인성을 확보하기 위해.

제안 방법

• MLtuner는 짧은 기간의 시도를 통해 수렴 속도를 평가하기 위해 기존 학습 시스템에 통합되어 빠르고 온라인 시도-오류를 수행한다.
• 최소한의 오버헤드로 여러 학습 설정을 유지하고 전환하기 위해 효율적인 시스템 수준 메커니즘—스냅샷 및 브랜치—를 사용한다.
• 최적화 유도 탐색(예: HyperOpt를 통한 베이지안 최적화)을 사용하여 초모수 공간을 탐색하고 유망한 설정을 식별한다.
• 수렴 속도가 떨어질 경우 학습 중에 동적으로 초모수를 재튜닝하여 변화하는 조건에 적응하고 장기적인 성능을 향상시킨다.
• 다중 초모수를 동시에 튜닝할 수 있으며, 기반 학습 프레임워크를 수정하지 않고도 더 큰 탐색 공간으로 확장된다.
• 시스템은 최적의 초기 설정을 자동으로 결정하고 지속적인 재튜닝을 통해 열악한 초기 선택으로부터 복구할 수 있다.

실험 결과

연구 질문

• RQ1 실제 학습 중에 광범위한 오프라인 튜닝이나 전문 지식 없이도 효율적이고 강인한 자동 초모수 튜닝이 가능할 수 있는가?
• RQ2 MLtuner의 온라인 및 적응형 튜닝 전략은 최첨단 초모수 최적화 방법과 속도 및 수렴 품질 측면에서 어떻게 비교되는가?
• RQ3 런타임 중 재튜닝을 통해 MLtuner는 최초 설정이 열악한 경우 얼마나 잘 복구할 수 있는가?
• RQ4 다중 상호의존적 튜너블을 포함한 더 큰 초모수 탐색 공간으로 MLtuner는 어떻게 확장되는가?
• RQ5 MLtuner는 다양한 기계학습 모델과 데이터셋에서 전문가가 튜닝한 설정과 비교해 유사한 성능을 달성하는가?

주요 결과

• ImageNet에서 Inception-BN에 대해 수작업 튜닝 설정(69.8%)보다 높은 검증 정확도(71.4%)를 달성했으며, GoogLeNet에 대해서도 마찬가지로 수작업 튜닝 설정(64.4%)보다 높은 정확도(66.2%)를 기록했다.
• Cifar10 벤치마크에서 MLtuner는 전문가가 튜닝한 설정의 5배의 학습 시간만으로 전문가 수준의 정확도를 달성하여 높은 오버헤드 감소 효과를 입증했다.
• 대규모 문제에서 Spearmint 및 Hyperband과 같은 최첨단 자동 튜닝 방법보다 학습 속도 면에서 10배 이상 빠르게 성능을 뛰어넘었다.
• 무작위로 선택된 열악한 초기 설정으로 시작하더라도 런타임 중 재튜닝을 통해 고정확도 모델로 수렴하는 데 성공하여 강인성을 입증했다.
• 8개의 튜너블(기존 4개의 2배)을 지원할 때도 동일한 정확도 수준으로 수렴했으며, 튜닝 시간은 약 2배로만 증가하여 확장성을 입증했다.
• 10회 런에 걸친 수렴 시간에 대한 변동계수(CoV)는 0.22로, 초기화 및 부동소수점 연산의 확률적 성격에도 불구하고 일관된 성능을 보였다.