[논문 리뷰] VEGA: Towards an End-to-End Configurable AutoML Pipeline

Bochao Wang, Hang Xu외 22명|arXiv (Cornell University)|2020. 11. 03.

Machine Learning and Data Classification참고 문헌 52인용 수 6

한 줄 요약

VEGA는 신경망 구조 탐색(NAS), 하이퍼파rameter 최적화(HPO), 데이터 증강, 모델 압축, 전체 훈련을 통합한 엔드 투 엔드로 구성되며 설정 가능한 AutoML 프레임워크이다. 세밀한 검색 공간 기술 언어와 통합된 백엔드 인터페이스를 사용하여 알고리즘 간 및 플랫폼 간 호환성을 확보하며, 최고 성능(SOTA)을 달성한다. 예를 들어, ImageNet에서 VEGA는 Ascend에서 EfficientNet-B5보다 3.5배 빠르고, RegNetX-32GF보다 9.2배 빠르게 DNet 모델을 추론한다.

ABSTRACT

Automated Machine Learning (AutoML) is an important industrial solution for automatic discovery and deployment of the machine learning models. However, designing an integrated AutoML system faces four great challenges of configurability, scalability, integrability, and platform diversity. In this work, we present VEGA, an efficient and comprehensive AutoML framework that is compatible and optimized for multiple hardware platforms. a) The VEGA pipeline integrates various modules of AutoML, including Neural Architecture Search (NAS), Hyperparameter Optimization (HPO), Auto Data Augmentation, Model Compression, and Fully Train. b) To support a variety of search algorithms and tasks, we design a novel fine-grained search space and its description language to enable easy adaptation to different search algorithms and tasks. c) We abstract the common components of deep learning frameworks into a unified interface. VEGA can be executed with multiple back-ends and hardwares. Extensive benchmark experiments on multiple tasks demonstrate that VEGA can improve the existing AutoML algorithms and discover new high-performance models against SOTA methods, e.g. the searched DNet model zoo for Ascend 10x faster than EfficientNet-B5 and 9.2x faster than RegNetX-32GF on ImageNet. VEGA is open-sourced at https://github.com/huawei-noah/vega.

연구 동기 및 목표

• 다양한 알고리즘과 하드웨어 플랫폼을 지원하는 통합적이고 설정 가능한, 확장 가능한 AutoML 시스템의 부족을 해결한다.
• AutoML에서 단일 기능 또는 점별 솔루션의 한계를 극복하기 위해 NAS, HPO, 데이터 증강, 모델 압축 등의 핵심 모듈을 단일 파이프라인으로 통합한다.
• 특정 검색 알고리즘에 종속되지 않는 세밀한 검색 공간 설정 기능을 제공하여 재사용성과 확장성을 향상시킨다.
• PyTorch, TensorFlow, MindSpore 등의 딥러닝 프레임워크와 CPU, GPU, Ascend 등의 다양한 하드웨어 플랫폼을 통합된 인터페이스 추상화를 통해 지원한다.
• 계산 자원을 많이 소비하는 AutoML 워크로드를 효율적으로 관리하기 위해 확장 가능한 분산 검색 시스템을 제공한다.

제안 방법

• 각 AutoML 구성 요소(NAS, HPO, 데이터 증강, 압축, 훈련)를 설정 가능한 파ip라인 단계로 구현한 모듈식 파이프라인 아키텍처를 설계한다.
• 검색 알고리즘과 분리된 검색 공간 정의를 가능하게 하는 세밀한 검색 공간 기술 언어를 도입하여, DARTS나 샘플 기반 NAS와 같은 다양한 NAS 방법 간의 재사용을 가능하게 한다.
• 일반적인 훈련 및 모델 조작 컴포넌트를 통합된 트레이너 인터페이스로 추상화하여, PyTorch, TensorFlow, MindSpore 등 다양한 백엔드 간 상호 운용성을 확보한다.
• 계산 자원을 많이 소비하는 AutoML 워크로드(예: BOHB, EA 기반 NAS)의 작업 디스패치 및 결과 집계를 처리하기 위해 분산 작업 관리 시스템을 구현한다.
• ONNX를 통한 모델 변환을 통합하여 플랫폼 간 배포와 대상 장치에서의 피드백 수집을 가능하게 한다.
• YML 파일 기반 설정을 통해 전체 유연성을 확보한 파이프라인 단계의 순차적 실행을 통한 엔드 투 엔드 모델 최적화를 지원한다.

실험 결과

연구 질문

• RQ1 단일 AutoML 프레임워크가 NAS, HPO, 데이터 증강, 모델 압축 등의 핵심 모듈을 통합된, 조합 가능한 파이프라인으로 효율적으로 통합할 수 있는가?
• RQ2 세밀하고 알고리즘에 종속되지 않는 검색 공간 기술 언어가 다양한 검색 알고리즘과 작업 간 원활한 적응을 가능하게 할 수 있는가?
• RQ3 통합된 백엔드 인터페이스가 GPU, Ascend 등의 다양한 딥러닝 프레임워크와 하드웨어 플랫폼을 성능 손실 없이, 설정 가능성 유지 조건에서 지원할 수 있는가?
• RQ4 실제 벤치마크에서 단일 또는 순차적인 AutoML 도구와 비교해, 엔드 투 엔드 파이프라인은 모델 성능과 효율성을 얼마나 향상시키는가?
• RQ5 설정 가능성과 확장성 유지 조건에서 다양한 작업(이미지 분류, 초해상도, 객체 검출, 추천)에서 최고 성능(SOTA)을 달성할 수 있는가?

주요 결과

• VEGA는 ImageNet에서 최고 성능(SOTA)을 달성했으며, Ascend에서 검색된 DNet 모델은 EfficientNet-B5보다 10배 빠르고, RegNetX-32GF보다 9.2배 빠르며 높은 정확도를 유지한다.
• CULane 데이터셋에서의 차선 검출 작업에서, VEGA가 검색한 모델은 mAP와 추론 속도 모두 원본 SOTA인 Autolane 방법을 초월한다.
• Urban100 데이터셋에서의 초해상도 이미지 복원 작업에서, VEGA가 검색한 모델은 원본 ESRN-V2 모델보다 높은 PSNR(37.84)와 낮은 FLOPs(40.21G)를 기록했다.
• 지문 인식 작업에서, 전체 VEGA 파이프라인(SM-NAS + ASHA + EA-Pruning)은 기준 모델 대비 잘못된 수용률과 잘못된 거부률을 크게 감소시켰다.
• CIFAR-10에서의 CARS 구현은 원본 보고된 정확도와 파rameter 효율성보다 뛰어난 성능을 보이며, 뛰어난 NAS 성능을 입증했다.
• Avazu 데이터셋에서의 클릭스루율 예측 최적화에서, VEGA는 최소한의 수동 튜닝으로 경쟁 가능한 성능을 달성했다.