[논문 리뷰] Neuroevolution in Deep Learning: The Role of Neutrality

Edgar Galván|arXiv (Cornell University)|2021. 02. 16.

Evolutionary Algorithms and Applications참고 문헌 50인용 수 7

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNN) 아키텍처 탐색을 위한 신경진화에서 중립성의 역할을 조사하며, 표현형에 영향을 주지 않는 선택적 중립 돌연변이가 불필요한 적합도 평가를 줄여 진화적 탐색을 가속화할 수 있음을 제안한다. 카르테시안 유전적 프로그래밍과 같은 표현 방식에서 중립적인 유전자 변형을 활용함으로써, 매번 돌연변이를 재평가하지 않고도 DNN 아키텍처를 효율적으로 탐색할 수 있으며, 이는 자동화된 DNN 설계에서 계산 비용을 줄일 수 있다.

ABSTRACT

A variety of methods have been applied to the architectural configuration and learning or training of artificial deep neural networks (DNN). These methods play a crucial role in the success or failure of the DNN for most problems and applications. Evolutionary Algorithms (EAs) are gaining momentum as a computationally feasible method for the automated optimisation of DNNs. Neuroevolution is a term which describes these processes of automated configuration and training of DNNs using EAs. However, the automatic design and/or training of these modern neural networks through evolutionary algorithms is computanalli expensive. Kimura's neutral theory of molecular evolution states that the majority of evolutionary changes at molecular level are the result of random fixation of selectively neutral mutations. A mutation from one gene to another is neutral if it does not affect the phenotype. This work discusses how neutrality, given certain conditions, can help to speed up the training/design of deep neural networks.

연구 동기 및 목표

• 진화 알고리즘에서 중립성이 최적의 딥 뉴럴 네트워크 아키텍처를 찾는 데 가속 효과를 줄 수 있는지 조사하는 것.
• 표현형에 영향을 주지 않는 중립 돌연변이가 DNN에서 신경진화의 효율성에 미치는 영향을 검토하는 것.
• 카르테시안 유전적 프로그래밍과 같은 중립 표현 방식이 DNN 아키텍처 탐색 중 반복적인 적합도 평가의 필요성을 줄이는 방식을 탐색하는 것.
• 중립성이 딥 러닝에서 진화적 탐색을 도와주거나 방해하는 조건을 규명하는 것.
• 단순한 이진 기반 실험 설정(변이와 선택만을 사용)을 제안하여 향후 신경진화에서의 중립성 연구에 기초를 마련하는 것.

제안 방법

• DNN 아키텍처 공간에서의 진화적 탐색을 시뮬레이션하기 위해 변이와 선택을 유일한 유전적 연산자로 사용하는 이진 유전자 표현 방식을 사용한다.
• 카르테시안 GP에서와 같이 표현형 DNN 아키텍처를 변화시키지 않는 유전자적 변화를 식별함으로써 중립성 개념을 적용한다.
• 유전자형을 실제 DNN 아키텍처로 매핑할 수 있는 표현형 디코딩 메커니즘을 활용하여, 표현형 변화가 발생할 때만 적합도 평가를 수행한다.
• 카르테시안 유전적 프로그래밍을 사용한 기존 신경진화 프레임워크를 활용하여 DNN 표현에서의 중립성을 명시적으로 모델링하고 측정한다.
• 중립 돌연변이는 적합도 평가를 건너뛸 수 있으므로, 진화적 DNN 탐색에서 계산 비용을 줄일 수 있다며 이를 제안한다.
• 진화적 탐색에서 다른 혼란 요인들과의 혼동을 피하기 위해 단순화된 벤치마크 문제와 표현 방식을 사용하여 중립성의 영향을 고립한다.

실험 결과

연구 질문

• RQ1 유전자 내 중립 돌연변이의 존재가 신경진화에서 DNN의 적합도 평가 수를 줄일 수 있는가?
• RQ2 진화 표현에서 중립성이 어떤 조건에서 효과적인 DNN 아키텍처 탐색을 가속화하는가?
• RQ3 중립성이 DNN 아키텍처 탐색 맥락에서 선택 및 변이 연산자의 행동에 어떤 영향을 미치는가?
• RQ4 중립적인 유전자 변형을 체계적으로 식별하고 신경진화에서 활용할 수 있는가?
• RQ5 중립성이 최종 DNN 아키텍처의 품질을 훼손하지 않으면서도 신경진화의 수렴 속도를 빠르게 하는가?

주요 결과

• 진화 표현에서의 중립성은 영향을 주지 않는 돌연변이를 건너뛰어 적합도 평가 횟수를 줄일 수 있다.
• 표현형에 영향을 주지 않는 유전자(예: 카르테시안 GP 예시에서 유전자 5)의 존재는 자연스러운 중립성을 만들어내며, 이러한 유전자에서의 돌연변이는 DNN 아키텍처를 변화시키지 않는다.
• 표현형 변화가 흔치 않은 경우, 중립성은 적합도 재평가 없이도 더 긴 유전자 공간 탐색을 가능하게 하여 탐색을 가속화할 수 있다.
• 연구에서는 중립성이 항상 유리하지 않으며, 문제 유형, 표현 방식, 유전적 연산자에 따라 달라질 수 있음을 밝혔다.
• 저자들은 카르테시안 GP와 같은 표현에 중립성을 명시적으로 도입하여 DNN 아키텍처 탐색에서 효율적인 탐색을 촉진할 수 있음을 제안한다.
• 논문은 연구 격차를 지적한다: DNN를 위한 신경진화에서 중립성을 체계적으로 연구한 사례는 없으며, 이는 이론적으로 계산 비용을 줄일 잠재력이 있음에도 불구하고 그렇다.