[논문 리뷰] Survey on Evolutionary Deep Learning: Principles, Algorithms, Applications and Open Issues

Nan Li, Lianbo Ma외 4명|arXiv (Cornell University)|2022. 08. 23.

Evolutionary Algorithms and Applications인용 수 4

한 줄 요약

이 종합적 서베이는 진화적 딥러닝(EDL)을 자동화된 머신러닝(AutoML) 프레임워크로 제시하며, 진화계산(EC)을 통합하여 딥러닝 파이프라인—특징 공학, 모델 생성, 배포까지—최적화한다. 새로운 EDL 분류 체계를 제안하고, 솔루션 표현 방식과 탐색 전략을 상세히 기술하며, 핵심 과제와 향후 연구 방향을 규명한다.

ABSTRACT

Over recent years, there has been a rapid development of deep learning (DL) in both industry and academia fields. However, finding the optimal hyperparameters of a DL model often needs high computational cost and human expertise. To mitigate the above issue, evolutionary computation (EC) as a powerful heuristic search approach has shown significant merits in the automated design of DL models, so-called evolutionary deep learning (EDL). This paper aims to analyze EDL from the perspective of automated machine learning (AutoML). Specifically, we firstly illuminate EDL from machine learning and EC and regard EDL as an optimization problem. According to the DL pipeline, we systematically introduce EDL methods ranging from feature engineering, model generation, to model deployment with a new taxonomy (i.e., what and how to evolve/optimize), and focus on the discussions of solution representation and search paradigm in handling the optimization problem by EC. Finally, key applications, open issues and potentially promising lines of future research are suggested. This survey has reviewed recent developments of EDL and offers insightful guidelines for the development of EDL.

연구 동기 및 목표

• 딥러닝에서 하이퍼파라미터 및 아키텍처 튜닝의 높은 계산 비용과 전문가 의존도 문제를 해결하기 위한 진화적 딥러닝(EDL)의 체계적 리뷰 제공.
• 딥러닝 파이프라인 내에서 '무엇', '어디서', '어떻게'를 진화 또는 최적화할지 기반으로 한 EDL의 새로운 분류 체계 수립.
• 특징 공학, 모델 생성, 모델 배포 단계에서 EC 기반 EDL의 솔루션 표현 방식과 탐색 전략 분석.
• 공정한 벤치마킹, 해석 가능성, 확장성 등의 핵심 과제를 규명하고 향후 연구 방향 제안.

제안 방법

• 논문은 EDL을 복잡한 최적화 문제로 재구성하며, 진화계산(EC)을 활용해 최적의 딥러닝 구성 요소를 자동으로 탐색한다.
• 특성, 아키텍처, 하이퍼파라미터 등 진화 대상 컴포onent과 딥러닝 파이프라인 단계에 따라 분류하는 새로운 분류 체계를 도입한다.
• EC를 통한 EDL에서 사용되는 다양한 솔루션 표현 방식(예: 게놈-형질 매핑)과 탐색 전략(예: 다목적 최적화, 안정적 상태, 국소 탐색을 통한 안정적 상태)을 분석한다.
• EC 기반 접근법과 비-EC 방법(예: 강화학습, 기울기 기반 방법) 간의 탐색 능력, 성능, 내구성 측면에서의 비교 분석.
• 이미지 인식, 자연어 처리(NLP), 의료 진단 등 실제 응용 분야에서의 EDL 적용 사례 평가를 통해 성능 향상과 한계를 강조한다.
• 표준화된 벤치마크 부족, 낮은 해석 가능성, 노이즈가 많은 또는 소규모 데이터셋 처리 과제 등 열린 문제점 식별 및 논의.

Figure 1 . An overview of DL, driven by domain knowledge or evolutionary computation, where the life of DL gets through problem, data collection, feature engineering, model generation and model deployment.

실험 결과

연구 질문

• RQ1 특징 공학, 모델 생성, 배포 단계에서 진화계산을 체계적으로 적용해 딥러닝 파이프라인을 자동화할 수 있는 방법은 무엇인가?
• RQ2 딥러닝 파이프라인의 각 단계에서 EC 기반 EDL에 가장 효과적인 솔루션 표현 방식과 탐색 전략는 무엇인가?
• RQ3 강화학습, 기울기 기반 방법 등 비-EC 대안과 비교했을 때, EC 기반 EDL 방법의 성능, 내구성, 효율성은 어떻게 평가되는가?
• RQ4 실제 응용에서 EDL 방법의 공정한 벤치마킹, 해석 가능성, 확장성의 핵심 과제는 무엇인가?
• RQ5 종단간 자동화, 확장성, 해석 가능성을 향상시키기 위한 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• EDL 방법은 하이퍼파라미터 및 아키텍처 탐색에서 경쟁력 있는 성능과 내구성을 보이며, CIFAR-10 및 ImageNet과 같은 표준 벤치마크에서 수동 설계 및 일부 비-EC 접근법을 능가하는 경우가 많다.
• 통일된 벤치마크와 평가 기준 부족으로 EDL 방법 간 공정하지 않은 비교가 발생하며, 특히 NAS 및 모델 압축 분야에서 다양한 정규화 기법(예: cutout, ScheduledDropPath)이 성능에 큰 영향을 미쳐 문제가 된다.
• 해석 가능성은 여전히 주요 과제이며, EC 기반 EDL는 선택된 특정 특징이나 아키텍처에 대한 이론적 근거가 거의 없는 블랙박스 과정으로 간주된다.
• 이미지 관련 작업에서는 EDL가 뛰어난 성능를 보이지만, GPT-2, Transformer-XL 등의 인간 설계 모델에 비해 자연어 처리(NLP) 분야에서는 성능 격차가 존재함을 시사한다.
• 현재 EDL 프레임워크는 레이블 노이즈, 데이터 불균형, 소규모 데이터셋 등의 실제 데이터 과제를 해결하는 데 어려움을 겪고 있어, 자기지도 학습 또는 비지도 학습 기법 통합의 필요성을 암시한다.
• 모든 파이프라인 컴포넌트를 동시에 최적화해야 하는 복잡성으로 종단간 EDL는 여전히 큰 과제이지만, AutoML의 완전 자동화를 위한 유망한 미래 방향으로 확인된다.

Figure 2 . Total publications and citations referring to EC & DL by years from Web of Science until July 2022.