[논문 리뷰] DEHB: Evolutionary Hyperband for Scalable, Robust and Efficient Hyperparameter Optimization

Noor H. Awad, Neeratyoy Mallik외 1명|arXiv (Cornell University)|2021. 05. 20.

Advanced Multi-Objective Optimization Algorithms인용 수 9

한 줄 요약

DEHB는 미분 진화(DE)와 Hyperband의 밴디트 기반 자원 할당을 조합하여 확장성 있고 강건하며 효율적인 초파rameter 최적화(HPO) 방법을 제안한다. 고차원 이산 문제에서 이전의 방법들, 특히 BOHB와 무작위 탐색보다 최대 1000배 빠른 속도를 기록하며, 단순성과 낮은 계산 오버헤드를 유지한다.

ABSTRACT

Modern machine learning algorithms crucially rely on several design decisions to achieve strong performance, making the problem of Hyperparameter Optimization (HPO) more important than ever. Here, we combine the advantages of the popular bandit-based HPO method Hyperband (HB) and the evolutionary search approach of Differential Evolution (DE) to yield a new HPO method which we call DEHB. Comprehensive results on a very broad range of HPO problems, as well as a wide range of tabular benchmarks from neural architecture search, demonstrate that DEHB achieves strong performance far more robustly than all previous HPO methods we are aware of, especially for high-dimensional problems with discrete input dimensions. For example, DEHB is up to 1000x faster than random search. It is also efficient in computational time, conceptually simple and easy to implement, positioning it well to become a new default HPO method.

연구 동기 및 목표

• 신경망 아키텍처 탐색(NAS)을 포함한 고차원 및 이산 초파라미터 공간에서 기존 HPO 방법의 한계를 해결하기 위해.
• 다양한 HPO 문제에서 강력한 즉각적 성능과 최종 성능을 유지하는 방법을 개발하기 위해.
• Hyperband의 효율적인 자원 할당 능력과 DE의 이산 및 고차원 탐색 공간에서의 강건성을 결합하기 위해.
• 베이지안 최적화의 계산 오버헤드를 피하면서도 단순하고 효율적이며 병렬 처리가 가능한 HPO 방법을 만들기 위해.

제안 방법

• DEHB는 Hyperband(HB)의 밴디트 프레임워크 내에서 초파라미터 최적화 전략으로서 미분 진화(DE)를 통합하며, HB의 다중 무기 반지르기 자원 할당 기법을 사용해 유망한 설정에 집중한다.
• 각 설정에서 DE는 고정된 파라미터(F=0.5, CR=0.5)를 사용하여 변형, 교차 및 선택 연산을 통해 초파라미터 벡터의 집단을 진화시켜 강건성을 확보한다.
• 메서드는 HB의 연속적인 절반 기반 조기 정지 기법을 사용하여 성능에 따라 자원 할당을 점차 줄이며, 열악한 성능을 보이는 설정을 효율적으로 제거한다.
• DEHB는 다중 신뢰도 설정에서 작동하며, 다양한 자원 수준(예: 에포크 수준)에서 설정을 평가하고 조기 정지를 통해 낭비적인 계산을 방지한다.
• 알고리즘은 후보 해의 집단을 유지하며 반복적으로 업데이트하며, 새로운 후보는 DE 연산을 통해 생성되고 점차 증가하는 자원 수준에서 평가된다.
• 최소한의 초파라미터(F와 CR만 존재, 각각 0.5로 설정)를 갖추어 다양한 벤치마크에서 사용의 용이성과 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 DE와 Hyperband을 조합함으로써 고차원 이산 문제에 대해 기존 방법보다 더 강건하고 효율적인 HPO 방법을 얻을 수 있는가?
• RQ2 다양한 HPO 벤치마크에서 DEHB는 BOHB 및 무작위 탐색과 비교해 최종 성능와 샘플 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 DEHB는 서브스티튜트 벤치마크, 베이지안 신경망, 강화 학습, 신경망 아키텍처 탐색을 포함한 다양한 문제 유형에서 강력한 성능을 유지하는가?
• RQ4 DEHB는 초파라미터 설정에 얼마나 민감한가? 하나의 설정으로 다양한 문제에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• DEHB는 HPO 문제에서 무작위 탐색보다 최대 1000배 더 빠른 수렴 속도를 기록하며, 토이 함수에서는 최대 33,440배의 가속도를 기록한다.
• 13개의 표기형 신경망 아키텍처 탐색 벤치마크에서 DEHB는 샘플 효율성 측면에서 BOHB를 최대 32배 뛰어넘는다.
• 모든 벤치마크에서 평균 순위 2.39를 기록하며, 최종 성능 측면에서 모든 다른 방법보다 뚜렷이 뛰어나다.
• 절단 분석을 통해 F=0.5와 CR=0.5로 설정할 경우 다양한 벤치마크에서 강건한 성능을 기록하며, 초파라미터 선택에 대한 민감도를 최소화함을 확인했다.
• BOHB가 어려움을 겪는 고차원 이산 문제에서도 DEHB는 강력한 성능을 유지하며, 이러한 환경에서 뛰어난 강건성을 입증했다.
• 계산적으로 효율적이며, 모델 기반 베이지안 최적화에 비해 최소한의 오버헤드를 가지며, 병렬 실행에 잘 스케일링된다.