[논문 리뷰] Bag of Baselines for Multi-objective Joint Neural Architecture Search and Hyperparameter Optimization

Julia Guerrero‐Viu, Sven Hauns외 8명|arXiv (Cornell University)|2021. 05. 03.

Advanced Multi-Objective Optimization Algorithms참고 문헌 59인용 수 16

한 줄 요약

이 논문은 다중 목적 최적화를 위한 신경망 아키텍처 탐색(NAS) 및 하이퍼파rameter 최적화(HPO) 기반 방법의 세트를 제안한다. 이는 기존의 진화 알고리즘, 베이지안 최적화, 다중 정밀도 전략 등을 확장하여 정확도, 지연 시간, 메모리 등 여러 목적을 동시에 고려해 신경망 아키텍처와 하이퍼파rameter를 공동으로 최적화한다. 주요 기여는 공동 최적화의 이점을 입증하는 포괄적이고 오픈소스인 기반 방법 세트를 제공하는 것으로, Flowers 및 Fashion-MNIST와 같은 데이터셋에서의 실험 결과는 파레토 최적 해의 품질 향상을 보여준다.

ABSTRACT

Neural architecture search (NAS) and hyperparameter optimization (HPO) make deep learning accessible to non-experts by automatically finding the architecture of the deep neural network to use and tuning the hyperparameters of the used training pipeline. While both NAS and HPO have been studied extensively in recent years, NAS methods typically assume fixed hyperparameters and vice versa - there exists little work on joint NAS + HPO. Furthermore, NAS has recently often been framed as a multi-objective optimization problem, in order to take, e.g., resource requirements into account. In this paper, we propose a set of methods that extend current approaches to jointly optimize neural architectures and hyperparameters with respect to multiple objectives. We hope that these methods will serve as simple baselines for future research on multi-objective joint NAS + HPO. To facilitate this, all our code is available at https://github.com/automl/multi-obj-baselines.

연구 동기 및 목표

• 다중 목적 하에서 신경망 아키텍처와 하이퍼파rameter의 공동 최적화에 대한 격차를 해소하기 위해.
• 기존의 NAS 및 HPO 방법을 확장하여 고전적 하이퍼파rameter와 아키텍처 하이퍼파rameter를 동시에 다룰 수 있도록 하기 위해.
• 미래의 다중 목적 NAS+HPO 연구를 위한 단순하고 효과적이며 재현 가능한 기반 방법을 제공하기 위해.
• 고립된 NAS 또는 HPO 접근 방식에 비해 공동 최적화의 이점을 실증적으로 검증하기 위해.
• 오픈소스 코드를 통해 다중 목적 NAS+HPO의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 성능 향상을 위해 연속적인 반절화 기법을 통합한 다중 목적 진화 알고리즘인 SH-EMOA를 제안한다.
• 계층적 커널 밀도 추정(KDE)과 다중 목적 TPE(MOTPE)를 사용해 후보 선택을 수행하는 BOHB의 다중 목적 확장인 MO-BOHB를 소개한다.
• 저비용 목적에 대해 대체 모델링을 피하는 다중 목적 기대 하이퍼볼륨 개선(MS-EHVI) 방법을 개발한다.
• 다중 목적 후보 선택과 연속적인 반절화를 통합한 BANANAS 기반 방법인 MO-BANANAS를 제안한다.
• 네트워크 모티프, 프루닝, 지식 distillation을 통합한 진화 알고리즘과 베이지안 최적화를 조합한 BULK & CUT을 제시한다.
• 다양한 목적에서 이산적 아키텍처 선택과 연속적 하이퍼파rameter를 동시에 지원하는 통합 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처와 하이퍼파rameter의 공동 최적화는 고립된 NAS 또는 HPO보다 더 나은 파레토 최적 해를 도출할 수 있는가?
• RQ2 다양한 다중 목적 최적화 전략(예: 진화적, 베이지안, 다중 정밀도)이 공동 NAS+HPO에서 어떻게 성능을 내는가?
• RQ3 다중 목적 NAS+HPO에서 대체 모델링과 취득 함수의 영향은 무엇인가?
• RQ4 아키텍처와 하이퍼파ram터 간의 상호작용은 최적화 성능에 어떤 영향을 미치는가?
• RQ5 조기 정지 및 프루닝 기법은 공동 NAS+HPO의 효율성 향상에 기여하는가?

주요 결과

• 제안된 기반 방법들은 Flowers 및 Fashion-MNIST 데이터셋에서 기존 기반 방법에 비해 향상된 파레토 최적 해 품질을 달성한다.
• SH-EMOA와 MO-BOHB는 여러 랜덤 시드에서 일관된 파레토 최적 해를 보이며 안정적인 수렴 성능을 보인다.
• MS-EHVI는 시간이 지남에 따라 표준 EHVI보다 하이퍼볼륨 개선에서 뛰어난 성능을 보이며, 다중 목적 취득 함수의 이점을 입증한다.
• MO-BOHB는 다중 정밀도 최적화와 다중 목적 베이지안 최적화를 융합함으로써 높은 샘플 효율성을 확보한다.
• BULK & CUT은 지식 디스틸레이션과 네트워크 모티프를 활용해 탐색 효율성과 모델 품질을 향상시킨다.
• 오픈소스 코드베이스는 재현 가능성을 보장하며, 향후 다중 목적 NAS+HPO 분야의 연구 기초가 된다.