[논문 리뷰] Neuroevolution in Deep Neural Networks: Current Trends and Future Challenges

Edgar Galván, Peter Mooney|arXiv (Cornell University)|2020. 06. 09.

Evolutionary Algorithms and Applications참고 문헌 170인용 수 172

한 줄 요약

이 논문은 심층 신경망(DNN)에서 신경진화의 종합적인 조사 보고서를 제시하며, 자동 아키텍처 검색 및 훈련을 위한 진화 알고리즘(EAs)을 평가한다. 주요 추세, 과제, 향후 연구 방향을 규명하며, 강화학습에 비해 계산적으로 효율적인 대안으로서의 EAs의 잠재력을 강조한다. 이는 실세계 응용 분야에서 DNN 성능 향상과 자동화에 큰 잠재력을 지닌다.

ABSTRACT

A variety of methods have been applied to the architectural configuration and learning or training of artificial deep neural networks (DNN). These methods play a crucial role in the success or failure of the DNN for most problems and applications. Evolutionary Algorithms (EAs) are gaining momentum as a computationally feasible method for the automated optimisation and training of DNNs. Neuroevolution is a term which describes these processes of automated configuration and training of DNNs using EAs. While many works exist in the literature, no comprehensive surveys currently exist focusing exclusively on the strengths and limitations of using neuroevolution approaches in DNNs. Prolonged absence of such surveys can lead to a disjointed and fragmented field preventing DNNs researchers potentially adopting neuroevolutionary methods in their own research, resulting in lost opportunities for improving performance and wider application within real-world deep learning problems. This paper presents a comprehensive survey, discussion and evaluation of the state-of-the-art works on using EAs for architectural configuration and training of DNNs. Based on this survey, the paper highlights the most pertinent current issues and challenges in neuroevolution and identifies multiple promising future research directions.

연구 동기 및 목표

• 신경진화 연구의 산만한 상태를 해결하기 위해 심층 신경망(DNN) 아키텍처 구성 및 훈련에서 진화 알고리즘(EAs)에 집중한 통합적이고 종합적인 조사 보고서를 제공한다.
• EA 기반 신경진화의 강점, 한계, 현재 과제를 식별하고 분석하며, 특히 강화학습 및 기타 하이퍼파라미터 최적화 방법과의 비교를 통해 분석한다.
• 신경진화의 계산적 우수성을 강조한다. 예를 들어, 강화학습에 비해 훈련 시간이 줄어들며, 실세계 딥러닝 응용 분야에서의 광범위한 도입 잠재력을 지닌다.
• 공정한 비교와 분야 발전을 가능하게 하기 위해 신경진화 분야에서 표준화된 벤치마크와 재현 가능한 연구를 촉진한다.
• 미래 연구 방향 중 가장 유망한 분야를 식별한다. 이는 향상된 유전 연산자, 표준화된 평가 프로토콜, 이미지 분류를 초월한 새로운 응용 분야 확장 등을 포함한다.

제안 방법

• arXiv, IEEE Xplore, ACM, Google Scholar 등 다양한 데이터베이스를 대상으로 광범위한 문헌 조사하여, EA 기반 DNN 아키텍처 검색 및 훈련 분야의 최신 연구를 식별하고 분석한다.
• 대상 표현 방식(예: 가중치 기반, 아키텍처 기반), 진화 철학(예: 유전 알고리즘, 진화 전략, 확장 구조 신경진화), 훈련 전략을 기반으로 EA 기반 접근법을 분류하고 평가한다.
• 신경진화에서 사용되는 다양한 딥러닝 아키텍처를 검토하고 비교한다. 이는 합성곱 신경망(CNNs), 오토에인코드어(AEs), 딥 벨리프 네트워크(DBNs), 제한 동질 링크 모델(RBMs), 순환 신경망(RNNs)을 포함한다.
• 선택, 변이, 교차 등의 다양한 EA 구성 요소가 DNN에서의 신경진화 성능 및 수렴에 미치는 영향을 분석하며, 잘 설계된 유전 연산자의 필요성을 강조한다.
• 신경진화 연구에서 흔히 사용되는 벤치마크 데이터셋(MNIST, CIFAR-10, ILSVRC2012 등)을 평가하여 재현 가능성과 표준화 수준을 점검한다.
• 공개된 데이터셋의 중요성과 기업 내부 또는 비표준 데이터로 인해 연구 간 결과 비교에 어려움이 발생하는 문제점을 논의한다.

실험 결과

연구 질문

• RQ1 심층 신경망에서 진화 알고리즘을 사용한 아키텍처 검색 및 훈련에 있어 현재의 주요 추세와 지배적인 방법론은 무엇인가?
• RQ2 DNN 아키텍처 검색에서 EA 기반 신경진화 접근법은 강화학습 기반 방법에 비해 성능 및 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 신경진화를 DNN에 적용할 때의 주요 과제와 한계는 무엇인가? 특히 표현 방식, 확장성, 재현 가능성 측면에서 설명하라.
• RQ4 왜 신경진화 연구에서 표준화된 벤치마크가 부족한가? 이로 인해 연구 간 비교와 발전에 어떤 영향을 미치는가?
• RQ5 딥러닝에서 신경진화를 발전시키기 위해 가장 유망한 미래 연구 방향은 무엇인가? 특히 이미지 분류를 초월한 분야로의 확장을 포함하여 설명하라.

주요 결과

• EA를 활용한 신경진화는 DNN 아키텍처 검색 및 훈련에서 경쟁적인 성능을 보이며, 일반적으로 강화학습 방법에 비해 더 적은 계산 시간을 요구한다.
• 진화 알고리즘은 DNN 하이퍼파라미터 및 아키텍처 최적화에서 흔히 나타나는 복잡하고 비선형적이며 불연속적인 검색 공간을 효과적으로 다룰 수 있다.
• growing 관심에도 불구하고, 이 분야는 표준화된 벤치마크 프로토콜와 공개 가능한 데이터셋이 부족하여 연구 간 비교가 일관되지 않고 재현성이 떨어지는 경향이 있다.
• 논문은 특정 EA 구성 요소(예: 표현 방식, 연산자, 학습 유형)가 성능에 미치는 영향을 정확히 분리하여 분석할 수 있도록 표준화된 과학적 연구의 필수성을 강조한다.
• 일반적으로 사용되는 데이터셋인 MNIST, CIFAR-10, ILSVRC2012는 신경진화 연구에서 널리 쓰이지만, 그 범위가 제한되어 있어 주로 시각 중심 작업에 국한된 평가에만 활용된다.
• 미래 연구는 이미지 분류를 초월한 도메인 특화 벤치마크 개발과 공개된 공유 데이터셋 구축을 우선순위로 삼아야 하며, 이는 신경진화 기법의 공정하고 재현 가능한 평가를 가능하게 한다.