[논문 리뷰] B2EA: An Evolutionary Algorithm Assisted by Two Bayesian Optimization Modules for Neural Architecture Search

Hyunghun Cho, Jungwook Shin외 1명|arXiv (Cornell University)|2022. 02. 07.

Machine Learning and Data Classification인용 수 4

한 줄 요약

B2EA는 다중 시도(Neural Architecture Search, NAS) 알고리즘으로, 진화 알고리즘(EA)과 두 개의 베이지안 최적화(BO) 대체 모델(GP 및 RF)을 결합하여 검색 효율성과 안정성을 향상시킨다. 일반 및 셀 기반 검색 공간을 포함한 14개의 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 목표 정확도의 세 가지 난이도 수준에서 일관된 우수성을 보였다.

ABSTRACT

The early pioneering Neural Architecture Search (NAS) works were multi-trial methods applicable to any general search space. The subsequent works took advantage of the early findings and developed weight-sharing methods that assume a structured search space typically with pre-fixed hyperparameters. Despite the amazing computational efficiency of the weight-sharing NAS algorithms, it is becoming apparent that multi-trial NAS algorithms are also needed for identifying very high-performance architectures, especially when exploring a general search space. In this work, we carefully review the latest multi-trial NAS algorithms and identify the key strategies including Evolutionary Algorithm (EA), Bayesian Optimization (BO), diversification, input and output transformations, and lower fidelity estimation. To accommodate the key strategies into a single framework, we develop B2EA that is a surrogate assisted EA with two BO surrogate models and a mutation step in between. To show that B2EA is robust and efficient, we evaluate three performance metrics over 14 benchmarks with general and cell-based search spaces. Comparisons with state-of-the-art multi-trial algorithms reveal that B2EA is robust and efficient over the 14 benchmarks for three difficulty levels of target performance. The B2EA code is publicly available at \url{https://github.com/snu-adsl/BBEA}.

연구 동기 및 목표

• 가중치 공유 기반 NAS의 매우 높은 성능 아키텍처를 찾는 데서 발생하는 한계를 해결하기 위해 다중 시도 접근법을 개발한다.
• 기존의 다중 시도 NAS에 비해 높은 계산 비용이 발생하는 문제를 해결하면서도 다양한 검색 공간에서의 안정성을 유지한다.
• 다양화, 입력/출력 변환, 보수적인 조기 종료와 같은 핵심 전략을 통합한 통합 프레임워크를 구축한다.
• 특히 일반적이거나 제약이 없는 검색 공간에서 다중 시도 NAS가 최상위 성능 모델을 발견하는 데 필수적임을 입증한다.
• 일반 및 셀 기반 검색 공간 모두에 적합한 확장성 있고 효율적이며 안정적인 NAS 알고리즘을 개발한다.

제안 방법

• 진화 알고리즘(EA)과 두 개의 베이지안 최적화(BO) 대체 모델(GP 및 RF)을 조합하여 검색을 이끌고 샘플 효율성을 향상시킨다.
• BO 반복 간에 변형(mutation) 단계를 도입하여 개체군의 다양성을 향상시키고 조기 수렴을 방지한다.
• 검색 공간을 변형하기 위해 입력 왜곡(input warping)을 적용하여 비정상적인 성능 지도의 모델링을 향상시킨다.
• 성능 지표를 정규화하기 위해 출력 변환(output transformation)을 사용하며, 특히 매우 어려운 목표 작업에서 유용하다.
• 불필요한 평가를 줄이면서도 검색 품질을 유지하기 위해 보수적인 조기 종료 전략을 구현한다.
• 탐색과 이용의 균형을 맞추기 위해 라운드로빈 방식의 획득 기능 스케줄링(EI, PI, UCB)을 사용하여 복잡한 앙상블 모델링을 피한다.

실험 결과

연구 질문

• RQ1 다중 시도 NAS 알고리즘이 일반적인 검색 공간에서 가중치 공유 방법보다 높은 성능 아키텍처를 발견하는 데서 슈퍼리미엄 성능을 낼 수 있는가?
• RQ2 입력 왜곡과 출력 변환이 다양한 벤치마크에서 BO 기반 NAS의 성능 및 안정성에 어떤 영향을 미치는가?
• RQ3 서로 다른 두 종류의 BO 대체 모델(GP 및 RF)을 협업 프레임워크에서 사용할 경우 단일 모델 접근법에 비해 어떤 영향을 미치는가?
• RQ4 EA-BO 하이브리드 프레임워크에 변형을 통합할 경우 검색 다양성과 수렴성은 어떻게 향상되는가?
• RQ5 보수적인 조기 종료 전략이 성능 저하 없이 계산 비용을 얼마나 줄일 수 있는가?

주요 결과

• B2EA는 NAS-Bench201-ImageNet16-120 포함 14개의 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 목표 정확도의 세 가지 난이도 수준에서 일관된 우수성을 보였다.
• NAS-Bench201-ImageNet16-120에서 가장 도전적인 목표를 달성하기 위해 15 GPU일 이내에 검색을 완료하였으며, 기존의 다중 시도 및 원샷 방법을 모두 초월하였다.
• 입력 왜곡과 출력 변환은 어려운 목표에서 성능 향상을 이끌었지만, 더 쉬운 벤치마크에서는 효과가 낮거나 오히려 해로운 영향을 미쳐 맥락에 따라 영향이 달라지는 것으로 나타났다.
• 변형은 특히 고난이도 시나리오에서 다양성을 유지하고 조기 수렴을 방지하는 데 매우 유용하였다.
• 이중 BO 대체 모델 설정(GP 및 RF)은 다양화 및 조기 종료와 결합될 경우 안정성과 샘플 효율성을 향상시켰다.
• 보수적인 조기 종료 전략은 불필요한 평가를 크게 줄였으며, 특히 고복잡도 검색 공간에서 높은 성능을 유지하는 데 기여하였다.