[논문 리뷰] Evolutionary Neural AutoML for Deep Learning

Jason Liang, Elliot Meyerson외 4명|arXiv (Cornell University)|2019. 02. 18.

Machine Learning and Data Classification참고 문헌 39인용 수 10

한 줄 요약

이 논문은 분산 진화 알고리즘을 사용하여 딥 네ural 네트워크 아키텍처, 하이퍼파라미터, 모델 크기를 공동으로 최적화하는 진화적 AutoML 프레임워크인 LEAF를 소개한다. LEAF는 의료 영상 분류 및 자연어 처리 작업에서 최신 기술 수준의 성능을 달성하며, 아키텍처 검색이 정확도를 크게 향상시키고 최소한의 성능 손실로도 컴act하고 고성능 모델을 가능하게 한다.

ABSTRACT

Deep neural networks (DNNs) have produced state-of-the-art results in many benchmarks and problem domains. However, the success of DNNs depends on the proper configuration of its architecture and hyperparameters. Such a configuration is difficult and as a result, DNNs are often not used to their full potential. In addition, DNNs in commercial applications often need to satisfy real-world design constraints such as size or number of parameters. To make configuration easier, automatic machine learning (AutoML) systems for deep learning have been developed, focusing mostly on optimization of hyperparameters. This paper takes AutoML a step further. It introduces an evolutionary AutoML framework called LEAF that not only optimizes hyperparameters but also network architectures and the size of the network. LEAF makes use of both state-of-the-art evolutionary algorithms (EAs) and distributed computing frameworks. Experimental results on medical image classification and natural language analysis show that the framework can be used to achieve state-of-the-art performance. In particular, LEAF demonstrates that architecture optimization provides a significant boost over hyperparameter optimization, and that networks can be minimized at the same time with little drop in performance. LEAF therefore forms a foundation for democratizing and improving AI, as well as making AI practical in future applications.

연구 동기 및 목표

• 최적의 성능과 효율성을 위해 수동으로 딥 네ural 네트워크(DNN)를 설정하는 도전 과제를 해결하기 위해.
• 도메인 전문 지식이 필요 없이 DNN 아키텍처, 하이퍼파라미터, 모델 크기를 자동으로 종단 간 최적화할 수 있도록 하기 위해.
• 파rameter 수와 추론 속도와 같은 실세계 구현 제약 조건을 고려한 다목적 최적화를 지원하는 확장 가능한 분산 시스템을 개발하기 위해.
• 비전문가가 자동 검색을 통해 고성능이고 컴팩트한 DNN을 발견할 수 있도록 AI를 민주화하기 위해.
• 진화 알고리즘이 수동 설계된 모델을 능가하는 새로운 효율적인 아키텍처를 발견하는 데 효과적인지 탐색하기 위해.

제안 방법

• LEAF는 CoDeepNEAT 기반의 다수준 진화 프레임워크를 사용하여 모듈적 조합과 유전적 연산을 통해 신경망 아키텍처를 진화시킨다.
• 모듈 수준의 진화(예: 컨볼루션 블록)와 블루프린트 수준의 진화(예: 전체 토폴로지)를 위한 별도의 집단을 사용하여 계층적 탐색을 가능하게 한다.
• 다목적 최적화를 지원하여 정확도를 극대화하고 모델 복잡도(예: 파라미터 수)를 최소화한다.
• 노드 및 연결의 추가/제거를 포함한 진화적 연산을 사용하며, 구조적 변화 확률을 구성 가능하게 한다.
• 다양한 워커를 통해 분산 컴퓨팅을 활용하여 검색을 확장하고 더 긴 학습 실행과 더 나은 수렴을 가능하게 한다.
• 정확도와 모델 크기 사이의 균형을 유지하는 다양한 고품질 솔루션을 유지하기 위해 파레토 프론트를 사용한다.

실험 결과

연구 질문

• RQ1 진화적 AutoML 시스템이 신경망 아키텍처, 하이퍼파라미터, 모델 크기를 공동으로 최적화하여 뛰어난 성능을 달성할 수 있는가?
• RQ2 최종 모델 정확도와 효율성 측면에서 아키텍처 최적화는 하이퍼파라미터 최적화만으로 수행할 때보다 어떻게 비교되는가?
• RQ3 진화적 검색을 통해 자원 제약 조건이 있는 환경에 적합한 컴팩트하고 고성능 모델을 얼마나 잘 발견할 수 있는가?
• RQ4 진화적 검색를 통해 모델 복잡도를 최소화하면 일반화 성능이 향상되는가, 만약 그렇다면 그 이유는 무엇인가?
• RQ5 계산 자원이 증가함에 따라 시스템이 효과적으로 확장되어 시간이 지남에 따라 더 나은 결과를 도출할 수 있는가?

주요 결과

• LEAF는 의료 영상 분류 및 자연어 처리 작업에서 기존 AutoML 시스템과 수동 설계된 모델을 모두 능가하는 최신 기술 수준의 성능을 달성했다.
• 하이퍼파라미터 최적화만으로 수행할 때보다 아키텍처 최적화가 훨씬 더 큰 성능 향상을 제공했으며, 이는 구조적 탐색의 중요성을 강조한다.
• 다목적 LEAF는 정확도와 파라미터 수 모두에서 단일 목표 대비 우월한 성능을 보였으며, 세대 간 평균 적합도가 높았다.
• 진화 과정은 광범위한 모듈 재사용을 생성했으며, 이는 정규화 효과와 향상된 일반화를 설명할 수 있다.
• LEAF는 더 긴 학습 실행과 증가된 컴퓨팅 자원을 통해 더 나은 결과를 도출함을 입증했으며, 자원 증가에 따라 강력한 확장성을 보였다.
• 프레임워크는 성능 저하를 최소한으로 유지하면서 모델 크기를 효과적으로 최소화했으며, 스마트폰과 같은 엣지 디바이스에의 구현 가능성을 입증했다.