[논문 리뷰] FLO: Fast and Lightweight Hyperparameter Optimization for AutoML.

Chi Wang, Qingyun Wu|arXiv (Cornell University)|2019. 11. 12.

Machine Learning and Data Classification참고 문헌 2인용 수 5

한 줄 요약

FLO는 모델 복잡도, 평가 비용, 정확도 간의 상호 작용을 종합적으로 모델링함으로써 반복 횟수 대신 평가 비용을 최소화하는 빠르고 가벼운 초파rameter 최적화 방법이다. 대규모 AutoML 벤치마크에서 베이지안 최적화와 무작위 탐색보다 뛰어난 성능을 보이며, 조정 시간을 크게 줄이고도 높은 정확도를 유지한다.

ABSTRACT

Integrating ML models in software is of growing interest. Building accurate models requires right choice of hyperparameters for training procedures (learners), when the training dataset is given. AutoML tools provide APIs to automate the choice, which usually involve many trials of different hyperparameters for a given training dataset. Since training and evaluation of complex models can be time and resource consuming, existing AutoML solutions require long time or large resource to produce accurate models for large scale training data. That prevents AutoML to be embedded in a software which needs to repeatedly tune hyperparameters and produce models to be consumed by other components, such as large-scale data systems. We present a fast and lightweight hyperparameter optimization method FLO and use it to build an efficient AutoML solution. Our method optimizes for minimal evaluation cost instead of number of iterations to find accurate models. Our main idea is to leverage a holistic consideration of the relations among model complexity, evaluation cost and accuracy. FLO has a strong anytime performance and significantly outperforms Bayesian Optimization and random search for hyperparameter tuning on a large open source AutoML Benchmark. Our AutoML solution also outperforms top-ranked AutoML libraries in a majority of the tasks on this benchmark.

연구 동기 및 목표

• 대규모 데이터셋에 대해 초파라미터를 튜닝할 때 기존 AutoML 솔루션의 높은 계산 비용과 긴 학습 시간을 해결한다.
• 대규모 데이터 파이프라인과 같이 빠른 모델 생성이 필요한 소프트웨어 시스템에서 효율적이고 반복 가능한 초파라미터 튜닝을 가능하게 한다.
• 반복 횟수를 최소화하는 대신 평가 비용을 최소화함으로써 실세계 배포 환경에서의 자원 효율성을 향상시킨다.
• 최신 기술보다 더 빠르게 고정확도 모델을 제공하는 anytime 성능을 갖춘 AutoML 솔루션을 개발한다.

제안 방법

• FLO는 초파라미터 최적화를 평가 비용 최소화 문제로 공식화하며, 모델 복잡도, 평가 비용, 예측 정확도 간의 상호 작용을 명시적으로 모델링한다.
• 변화하는 초파라미터가 학습 비용과 모델 성능에 어떻게 영향을 주는지 분석하기 위해 종합적인 접근 방식을 사용한다. 이는 더 스마트한 탐색 결정을 가능하게 한다.
• 정확도 대비 비용 비율이 가장 높은 초파라미터 설정을 동적으로 우선순위에 올려 불필요한 평가를 줄인다.
• 자원이 제한된 환경에서 빠르고 반복 가능한 튜닝을 지원하기 위해 AutoML 파이프라인과 통합된다.
• 항상 성능을 갖춘다는 의미에서, 할당된 시간이 많을수록 모델 품질이 지속적으로 향상되며, 이는 시간 민감한 응용 분야에 적합하다.
• 기존 베이지안 최적화의 계산 오버헤드를 피하기 위해 경량이고 효율적인 설계가 되어 있다.

실험 결과

연구 질문

• RQ1 반복 횟수 대신 평가 비용을 최소화함으로써 초파라미터 최적화를 가속화할 수 있는가?
• RQ2 복잡도, 비용, 정확도의 종합적 모델링이 AutoML에서 튜닝 효율성을 어떻게 향상시키는가?
• RQ3 대규모 데이터셋에서 FLO가 베이지안 최적화와 무작위 탐색보다 얼마나 빠르고 정확한가?
• RQ4 반복적이고 저지연의 모델 튜닝이 필요한 소프트웨어 시스템에서 FLO를 효과적으로 구현할 수 있는가?

주요 결과

• FLO는 평가 비용을 줄이면서도 베이지안 최적화와 무작위 탐색보다 초파라미터 튜닝 정확도에서 뛰어난 성능을 보였다.
• 강력한 anytime 성능을 구현하여 제한된 시간 예산에도 고품질 모델을 제공했다.
• 대규모 오픈소스 AutoML 벤치마크에서 FLO의 AutoML 솔루션은 대부분의 작업에서 상위 랭킹 AutoML 라이브러리보다 뛰어난 성능을 보였다.
• 대규모 학습 데이터에서 정확한 모델을 생성하기 위해 소비하는 시간과 자원을 줄였다.
• 복잡도, 비용, 정확도의 종합적 모델링은 더 효율적인 탐색 경로를 이끌어내고 낭비되는 평가를 줄였다.
• 대규모 데이터 처리 파이프라인과 같이 반복적이고 저지연의 모델 생성이 필요한 시스템에서 FLO의 실용적 구현을 가능하게 했다.