[논문 리뷰] Bayesian Optimization for Selecting Efficient Machine Learning Models

Lidan Wang, Franck Dernoncourt외 1명|arXiv (Cornell University)|2020. 08. 02.

Machine Learning and Data Classification참고 문헌 29인용 수 8

한 줄 요약

이 논문은 예측 정확도와 학습 효율성을 동시에 최적화하는 통합 베이지안 최적화 프레임워크를 제안한다. 학습 데이터 크기를 외부 하이퍼파라미터로 통합함으로써, 조정 가능한 트레이드오프 목적함수를 설정하여, 표준 베이지안 최적화에 비해 학습 시간을 최대 55% 감소시키면서도 최상위 정확도의 94–96%를 유지하는 최신 기술 수준의 모델 효율성을 달성한다.

ABSTRACT

The performance of many machine learning models depends on their hyper-parameter settings. Bayesian Optimization has become a successful tool for hyper-parameter optimization of machine learning algorithms, which aims to identify optimal hyper-parameters during an iterative sequential process. However, most of the Bayesian Optimization algorithms are designed to select models for effectiveness only and ignore the important issue of model training efficiency. Given that both model effectiveness and training time are important for real-world applications, models selected for effectiveness may not meet the strict training time requirements necessary to deploy in a production environment. In this work, we present a unified Bayesian Optimization framework for jointly optimizing models for both prediction effectiveness and training efficiency. We propose an objective that captures the tradeoff between these two metrics and demonstrate how we can jointly optimize them in a principled Bayesian Optimization framework. Experiments on model selection for recommendation tasks indicate models selected this way significantly improves model training efficiency while maintaining strong effectiveness as compared to state-of-the-art Bayesian Optimization algorithms.

연구 동기 및 목표

• 실제 구현 환경에서 시간 제약이 엄격한 상황에서 학습 효율성보다 모델 성능에만 중점을 두는 기존의 베이지안 최적화 방법의 격차를 해소하기 위해.
• 예측 정확도와 학습 시간을 동시에 최적화하는 통합 프레임워크를 개발하여, 다양한 시간 예산 하에서 효율적인 모델 선택을 가능하게 하기 위해.
• 학습 데이터 크기와 같은 외부 하이퍼파라미터를 최적화 공간에 통합하여, 속도와 성능 간 균형을 이루는 데 추가 자유도를 제공하기 위해.
• 사용자 고유의 정확도와 학습 시간 간 선호도를 반영할 수 있는 조정 가능한 트레이드오프 지표를 도입하여, 적응형 모델 선택을 가능하게 하기 위해.
• 공동 최적화가 예측 성능를 손상시키지 않으면서도 훨씬 더 효율적인 모델을 도출할 수 있음을 입증하기 위해.

제안 방법

• 정규화된 예측 정확도와 정규화된 학습 시간을 조합한 가중 목적함수를 제안하며, 이는 트레이드오프 하이퍼파라미터 α로 매개변수화된다.
• 하이퍼파라미터 탐색 공간을 확장하여 학습 데이터 크기를 조정 가능한 변수로 포함시키며, 후보 값으로 전체 데이터의 20%, 40%, 60%, 80%, 100%를 사용한다.
• 확장된 하이퍼파라미터 공간(내재적 및 외부 하이퍼파라미터 포함)에서 연속적인 목적함수를 회귀하기 위해 가우시안 프로세스를 서면 모델로 사용한다.
• 기대 개선도를 이용한 획득 함수를 적용하여, 정확도-효율성 공간에서 탐색과 이용의 균형을 이루는 다음 하이퍼파라미터 설정을 순차적으로 선택한다.
• 새로운 평가 결과를 반영하여 서면 모델을 반복적으로 갱신하고, α에 의해 정의된 최적의 트레이드오프 설정으로 향해 탐색을 정교화한다.
• α를 조절하여 다양한 시간 제약에 적응할 수 있도록 하여, 사용자가 속도와 정확도 간 균형을 조정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화를 예측 성능 외에도 정확도와 학습 효율성을 동시에 최적화하도록 확장할 수 있는가?
• RQ2 학습 데이터 크기를 하이퍼파라미터로 포함시키면 모델 선택 시 효율성-정확도 트레이드오프에 어떤 영향을 미치는가?
• RQ3 조정 가능한 트레이드오프 지표는 다양한 시간 제약 하에서 높은 예측 정확도를 유지하면서도 얼마나 모델 선택 효율성을 향상시킬 수 있는가?
• RQ4 제약된 예산 하에서 제안된 프레임워크는 최신 기술 수준의 베이지안 최적화와 비교해 학습 시간과 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 실제 응용에서 사용자가 지정한 시간 및 정확도 요구사항을 충족하는 모델을 프레임워크가 적응적으로 선택할 수 있는가?

주요 결과

• 인슈어런스 데이터셋에서 제안된 방법은 전체 데이터 기반 베이지안 최적화의 상한 정확도의 94%를 달성하면서도 학습 시간의 55%만을 소비한다.
• 유얼피(Yelp) 데이터셋에서는 전체 데이터 기반 기준 대비 57%의 학습 시간만을 사용하면서도 상한 정확도의 96%를 달성한다.
• 특히 시간 제약이 있는 상황에서, 표준 베이지안 최적화(전체 데이터 기반)와 30% 데이터 기반의 빠른 변형보다 일관되게 뛰어난 성능을 보인다.
• 학습 데이터 크기를 하이퍼파라미터로 통합함으로써 추가적인 자유도를 확보하여, 효율적인 모델 설정으로의 수렴 속도가 향상된다.
• 사용자 선호도에 맞게 트레이드오프 파라미터 α를 조절함으로써, 사용자 맞춤형의 속도-정확도 균형을 설정할 수 있도록 프레임워크가 성공적으로 적응하였다.
• 결과적으로 공동 최적화가 엄격한 지연 및 자원 제약 조건을 가진 실세계 시스템에 더 잘 구현 가능한 모델을 도출할 수 있음을 입증하였다.