[논문 리뷰] Rethinking Default Values: a Low Cost and Efficient Strategy to Define Hyperparameters

Rafael Gomes Mantovani, André Luis Debiaso Rossi외 4명|arXiv (Cornell University)|2020. 07. 31.

Machine Learning and Data Classification참고 문헌 40인용 수 10

한 줄 요약

이 논문은 Particle Swarm Optimization (PSO)를 사용하여 150개의 다양한 데이터셋을 통해 초기화된 하이퍼파rameter(HP) 설정을 최적화하는 저비용 전략을 제안한다. 결과적으로 도출된 '최적화된 기본 설정'은 인기 있는 도구에서 제공하는 표준 기본 설정을 뛰어넘으며, 전체 하이퍼파rameter 튜닝이 필요한 경우를 줄여 최소한의 계산 비용으로도 경쟁 가능한 성능을 달성한다.

ABSTRACT

Machine Learning (ML) algorithms have been increasingly applied to problems from several different areas. Despite their growing popularity, their predictive performance is usually affected by the values assigned to their hyperparameters (HPs). As consequence, researchers and practitioners face the challenge of how to set these values. Many users have limited knowledge about ML algorithms and the effect of their HP values and, therefore, do not take advantage of suitable settings. They usually define the HP values by trial and error, which is very subjective, not guaranteed to find good values and dependent on the user experience. Tuning techniques search for HP values able to maximize the predictive performance of induced models for a given dataset, but have the drawback of a high computational cost. Thus, practitioners use default values suggested by the algorithm developer or by tools implementing the algorithm. Although default values usually result in models with acceptable predictive performance, different implementations of the same algorithm can suggest distinct default values. To maintain a balance between tuning and using default values, we propose a strategy to generate new optimized default values. Our approach is grounded on a small set of optimized values able to obtain predictive performance values better than default settings provided by popular tools. After performing a large experiment and a careful analysis of the results, we concluded that our approach delivers better default values. Besides, it leads to competitive solutions when compared to tuned values, making it easier to use and having a lower cost. We also extracted simple rules to guide practitioners in deciding whether to use our new methodology or a HP tuning approach.

연구 동기 및 목표

• 기계학습 도구에서 성능을 제한하는 최적화되지 않은 기본 하이퍼파라미터 설정 문제를 해결하기 위해.
• 전체 하이퍼파라미터 튜닝의 계산 부담을 줄이면서도 표준 기본 설정보다 예측 성능을 향상시키기 위해.
• 다양한 데이터셋에 적용 가능한 소규모이지만 효과적인 기본 하이퍼파라미터 설정 풀을 데이터 기반 전략으로 개발하기 위해.
• 최적화된 기본 설정이 전체 튜닝보다 바람직한 조건을 규명하여 실용적 사용성을 향상시키기 위해.
• 다른 기계학습 알고리즘에 적용 가능한 재사용 가능하고 오픈소스 프레임워크를 제공하기 위해.

제안 방법

• 저자들은 기계학습 문제의 광범위한 범위를 반영하기 위해 OpenML에서 150개의 다양한 데이터셋을 선택했다.
• 예측 성능을 최대화하기 위해 PSO를 사용하여 하이퍼파라미터 설정을 탐색했다.
• 적합도 함수는 복합 지표를 사용하여 모든 데이터셋의 성능을 통합했으며, 강건하고 일관된 결과를 선호했다.
• 51개의 데이터셋 샘플이 하이퍼파라미터 최적화에서 다양성과 강건성 간의 최적 균형을 이룬 것으로 밝혀졌다.
• 최적화된 하이퍼파라미터 설정은 최고의 PSO 해에서 유도되었으며, 인기 있는 기계학습 도구에서 제공하는 표준 기본 설정과 비교 평가되었다.
• 트리 기반 모델을 사용하여 최적화된 기본 설정이 튜닝을 능가할 수 있는 조건을 예측하는 규칙 기반 결정 기준을 도출했다.

실험 결과

연구 질문

• RQ1 소규모의 최적화된 기본 하이퍼파라미터 값 집합이 기계학습 도구에서 제공하는 표준 기본 설정을 뛰어넘을 수 있는가?
• RQ2 제안된 전략은 전체 하이퍼파라미터 튜닝이 필요한 데이터셋 수를 상당히 줄일 수 있는가?
• RQ3 어떤 데이터셋 특성이 최적화된 기본 설정과 전체 튜닝 중 어느 것이 더 바람직한지를 예측할 수 있는가?
• RQ4 최적화에 사용된 데이터셋 샘플의 크기가 도출된 기본 설정의 강건성과 성능에 어떤 영향을 미치는가?
• RQ5 최적화된 기본 설정은 계산 비용을 크게 줄이며 전체 튜닝과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 최적화된 기본 하이퍼파라미터 설정은 모든 시험 조건에서 표준 기본 설정보다 유의미하게 뛰어난 예측 성능을 달성했다.
• 최적화된 기본 설정은 실증 평가 기반으로 전체 하이퍼파라미터 튜닝이 필요한 데이터셋 수를 50퍼센트 이상 감소시켰다.
• 하이퍼파라미터 최적화에 가장 적합한 샘플 크기는 51개의 데이터셋으로, 강건성과 다양성의 균형을 잘 잡은 것으로 밝혀졌다.
• 100개 이하의 예제와 20개 이하의 특성을 가진 데이터셋에서는 최적화된 기본 설정이 튜닝보다 항상 뛰어났다.
• 더 많은 예제와 균형 잡힌 클래스 분포를 가진 데이터셋에서는 일반적으로 전체 하이퍼파라미터 튜닝이 최적화된 기본 설정보다 더 효과적이었다.
• 제안된 방법은 계산 평가 횟수를 수개의 주기 수준으로 줄이며, 전체 튜닝과 경쟁 가능한 성능을 달성했다.