[논문 리뷰] Hyper-Tune: Towards Efficient Hyper-parameter Tuning at Scale

Yang Li, Yu Shen외 6명|arXiv (Cornell University)|2022. 01. 18.

Advanced Neural Network Applications인용 수 6

한 줄 요약

Hyper-Tune는 자동 자원 할당, 비동기 스케줄링, 다중 신뢰도 최적화를 통해 초파rameter 최적화를 가속화하는 확장성 있고 분산된 초파라미터 튜닝 프레임워크입니다. 다양한 머신러닝 워크로드인 XGBoost, CNN, RNN 및 신경망 아키텍처 탐색에서 BOHB 및 A-BOHB 대비 최대 11.2× 및 5.1×의 속도 향상을 달성합니다.

ABSTRACT

The ever-growing demand and complexity of machine learning are putting pressure on hyper-parameter tuning systems: while the evaluation cost of models continues to increase, the scalability of state-of-the-arts starts to become a crucial bottleneck. In this paper, inspired by our experience when deploying hyper-parameter tuning in a real-world application in production and the limitations of existing systems, we propose Hyper-Tune, an efficient and robust distributed hyper-parameter tuning framework. Compared with existing systems, Hyper-Tune highlights multiple system optimizations, including (1) automatic resource allocation, (2) asynchronous scheduling, and (3) multi-fidelity optimizer. We conduct extensive evaluations on benchmark datasets and a large-scale real-world dataset in production. Empirically, with the aid of these optimizations, Hyper-Tune outperforms competitive hyper-parameter tuning systems on a wide range of scenarios, including XGBoost, CNN, RNN, and some architectural hyper-parameters for neural networks. Compared with the state-of-the-art BOHB and A-BOHB, Hyper-Tune achieves up to 11.2x and 5.1x speedups, respectively.

연구 동기 및 목표

• 모델 및 데이터 복잡성이 증가함에 따라 초파라미터 튜닝의 확장성 한계를 해결하기 위해.
• 딥러닝 및 대규모 머신러닝 모델의 높은 평가 비용을 자원 사용 및 스케줄링 최적화를 통해 감소시키기 위해.
• 지능적인 설정 선택 및 자원 할당을 통해 샘플 효율성과 수렴 속도를 향상시키기 위해.
• XGBoost, CNN, RNN 및 신경망 아키텍처 초파라미터를 포함한 다양한 모델에서 견고하고 효율적인 튜닝을 가능하게 하기 위해.
• 병렬 워커 수 증가에 따라도 고성능을 유지하면서 효과적으로 확장되는 시스템 설계를 위해.

제안 방법

• 초기 성능 신호를 기반으로 동적으로 학습 자원을 할당하는 자동 자원 할당 기법을 도입하여 열악한 설정에 대한 낭비를 최소화합니다.
• 비동기 스케줄링(D-ASHA)을 적용하여 워커들이 독립적으로 진행되도록 하여 대기 시간을 줄이고 시스템 활용도를 향상시킵니다.
• 낮은 신뢰도 평가(예: 부분적 학습)를 활용하여 설정 선택을 안내하는 다중 신뢰도 최적화기를 적용합니다.
• 다양한 자원 수준에서 유망한 설정을 우선순위로 지정하는 브라켓 선택 기법을 통합하여 수렴 속도를 향상시킵니다.
• ASHA에서 빈번한 승격을 방지하기 위해 지연 전략(D-ASHA)을 도입하여 비동기 환경에서 샘플 효율성을 향상시킵니다.
• 이러한 구성 요소들을 통합하여 256개의 워커까지 확장 가능하고 실제 산업 워크로드를 지원하는 분산 프레임워크로 구성합니다.

실험 결과

연구 질문

• RQ1 모델 및 데이터 복잡성이 증가함에 따라 초파라미터 튜닝 시스템은 어떻게 더 효율적이고 확장 가능하게 만들 수 있을까요?
• RQ2 비동기 스케줄링과 동적 자원 할당은 튜닝 성능과 시스템 활용도에 어떤 영향을 미치나요?
• RQ3 다중 신뢰도 최적화는 고신뢰도 또는 무작위 탐색 방법에 비해 샘플 효율성을 크게 향상시킬 수 있나요?
• RQ4 브라켓 선택은 분산 초파라미터 튜닝에서 수렴 속도와 견고성을 어떻게 향상시키나요?
• RQ5 제안된 시스템은 실제 산업 응용에서 병렬 워커 수 증가에 따라 어느 정도 확장 가능한가요?

주요 결과

• Hyper-Tune는 벤치마크 및 실제 튜닝 작업에서 BOHB 대비 최대 11.2×, A-BOHB 대비 최대 5.1×의 속도 향상을 달성합니다.
• 256개의 워커를 사용할 경우, counting-ones 작업에서는 145.7×, Covertype 작업에서는 18.0×의 속도 향상을 순차적 실행 대비 기록합니다.
• 제거 분석 결과 브라켓 선택이 가장 큰 성능 향상을 기여하여 A-BOHB 대비 AUC를 0.54% 향상시켰습니다.
• D-ASHA는 빈번한 승격을 줄여 샘플 효율성을 향상시켜 Covertype 데이터셋에서 검증 오차를 0.5% 감소시켰습니다.
• 다중 신뢰도 최적화기는 낮은 신뢰도 측정치를 효과적으로 활용하여 무작위 및 고신뢰도 최적화기보다 뛰어난 성능을 보였습니다.
• 10억 개 이상의 인스턴스를 포함한 산업용 추천 작업에서, Hyper-Tune는 수동 설정 대비 AUC를 0.87% 향상시켰으며, A-BOHB를 0.54% 초월했습니다.