[논문 리뷰] AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with Autotuned Data-Parallel Training for Tabular Data

Romain Égelé, Prasanna Balaprakash외 3명|arXiv (Cornell University)|2020. 10. 30.

Machine Learning and Data Classification참고 문헌 30인용 수 6

한 줄 요약

AgEBO-Tabular는 아키텍처 검색을 위한 노화 진화(aging evolution, AgE)와 이질적 베이지안 최적화(asynchronous Bayesian optimization, BO)를 조합한 공동 신경망 아키텍처 탐색(NAS) 및 하이퍼파rameter 탐색(HPS) 프레임워크를 제안한다. 이는 데이터-병렬 학습 하이퍼파rameter(예: 학습률, 배치 크기)를 자동으로 튜닝함으로써 각 아키텍처의 학습 시간을 크게 단축시키면서도 대규모 테이블 데이터셋에서 모델 정확도를 향상시킨다. 이 방법은 최신 AutoML 기법들보다 정확도와 추론 속도 측면에서 모두 뛰어난 성능을 발휘한다.

ABSTRACT

Developing high-performing predictive models for large tabular data sets is a challenging task. The state-of-the-art methods are based on expert-developed model ensembles from different supervised learning methods. Recently, automated machine learning (AutoML) is emerging as a promising approach to automate predictive model development. Neural architecture search (NAS) is an AutoML approach that generates and evaluates multiple neural network architectures concurrently and improves the accuracy of the generated models iteratively. A key issue in NAS, particularly for large data sets, is the large computation time required to evaluate each generated architecture. While data-parallel training is a promising approach that can address this issue, its use within NAS is difficult. For different data sets, the data-parallel training settings such as the number of parallel processes, learning rate, and batch size need to be adapted to achieve high accuracy and reduction in training time. To that end, we have developed AgEBO-Tabular, an approach to combine aging evolution (AgE), a parallel NAS method that searches over neural architecture space, and an asynchronous Bayesian optimization method for tuning the hyperparameters of the data-parallel training simultaneously. We demonstrate the efficacy of the proposed method to generate high-performing neural network models for large tabular benchmark data sets. Furthermore, we demonstrate that the automatically discovered neural network models using our method outperform the state-of-the-art AutoML ensemble models in inference speed by two orders of magnitude while reaching similar accuracy values.

연구 동기 및 목표

• 대규모 테이블 데이터셋에 대한 NAS에서 신경망 아키텍처 평가의 높은 계산 비용을 해결하기 위해.
• 신경망 아키텍처와 데이터-병렬 학습 하이퍼파rameter를 공동으로 최적화하여 학습 효율성과 모델 정확도를 향상시키기 위해.
• 적응형 자동 튜닝된 데이터-병렬화를 통해 개별 NAS 방법에서의 학습 시간 저하 문제를 줄이기 위해.
• 기존 AutoML 기법들보다 대규모 테이블 기준 테스트에서 뛰어난 성능을 보이는 확장성 있고 일반화 가능한 프레임워크를 개발하기 위해.
• 최소한의 인간 간섭으로 NAS를 가속화하는 데 있어 베이지안 최적화의 강력한 탐색 전략의 효과를 입증하기 위해.

제안 방법

• 스킵 연결과 다중 입력 지원 기능을 갖춘 완전 연결 신경망 아키텍처의 집단을 생성하고 진화시키기 위해 노화 진화(AgE)를 활용한다.
• 학습률, 배치 크기, 기울기 누적 스텝 수 등 데이터-병렬 학습 하이퍼파rameter를 자동으로 튜닝하기 위해 이질적 베이지안 최적화(BO)를 도입한다.
• 테이블 데이터에 특화된 검색 공간을 사용하여 스킵 연결과 다중 입력 브랜치를 갖춘 아키텍처를 허용한다.
• 유망한 구성에 더 많은 자원을 할당하기 위해 BO 내에서 연속 반으로 나누기(successive halving) 기법을 적용하여 샘플 효율성을 향상시킨다.
• 다중 노드 간 데이터-병렬 학습을 활용하며, BO를 통해 나태이브 병렬화로 인한 정확도 저하를 방지하기 위해 하이퍼파라미터를 튜닝한다.
• 아키텍처 검색과 하이퍼파라미터 최적화를 공동으로 최적화하는 파이프라인 형태로 AgE와 BO를 통합하여 이질적 방식으로 운영한다.

실험 결과

연구 질문

• RQ1 자동 튜닝된 데이터-병렬 학습을 통한 공동 신경망 아키텍처 및 하이퍼파라미터 탐색이 대규모 테이블 데이터셋에서 모델 정확도 향상과 학습 시간 단축에 기여하는가?
• RQ2 고정 또는 히우리스틱 설정 대비 자동 튜닝된 데이터-병렬 학습 하이퍼파라미터 설정이 모델 성능에 어떤 영향을 미치는가?
• RQ3 베이지안 최적화에서 강력한 탐색 전략이 NAS에서 고성능 모델을 신속하게 발견하는 데 기여하는가?
• RQ4 AgEBO-Tabular은 AutoGluon 및 Auto-PyTorch와 같은 최신 AutoML 프레임워크와 비교해 정확도와 추론 시간 측면에서 어떻게 성능을 내는가?
• RQ5 AgEBO-Tabular의 성능는 데이터셋에 특화된 하이퍼파라미터 튜닝에 얼마나 의존하는가?

주요 결과

• AgEBO-Tabular는 두 개의 대규모 ECP-CANDLE 테이블 데이터셋에서 최신 수준의 인간 설계 모델보다 정확도와 학습 시간 측면에서 뛰어난 신경망 아키텍처를 발견하였다.
• 고정 설정을 사용한 나태이브 데이터-병렬 학습 대비 자동 튜닝된 데이터-병렬 학습 하이퍼파라미터 설정이 모델 정확도를 크게 향상시켰다.
• 강력한 탐색 전략을 갖춘 이질적 BO를 사용함으로써 더 빠른 수렴과 더 나은 샘플 효율성을 달성하였으며, 광범위한 탐색이 필요로 하는 것을 줄였다.
• AgEBO-Tabular는 동일한 기준 테스트 데이터셋에서 AutoGluon 및 Auto-PyTorch보다 뛰어난 추론 속도를 보였으며, 정확도는 경쟁적 또는 더 뛰어난 성능을 기록하였다.
• 최고의 성능을 내는 구성은 데이터셋에 특화된 하이퍼파라미터 튜닝이 필요로 하며, 일률적인 설정은 최적의 성능을 내기 어렵다는 것을 시사한다.
• 이 프레임워크는 NVIDIA GPU를 초월해 CPU 기반 클러스터나 하이브리드 플랫폼으로도 최소한의 수정으로도 적용 가능하다.