[논문 리뷰] Neuroevolution of Neural Network Architectures Using CoDeepNEAT and Keras

Jonas da Silveira Bohrer, Bruno Iochins Grisci외 1명|arXiv (Cornell University)|2020. 02. 11.

Evolutionary Algorithms and Applications참고 문헌 65인용 수 11

한 줄 요약

이 논문은 Keras 딥러닝 라이브러리와 통합된 신경망 진화 알고리즘 기반의 신경망 아키텍처 및 하이퍼파라미터 탐색을 자동화하는 오픈소스 구현인 CoDeepNEAT를 제시한다. 작은 개체 수와 제한된 하드웨어 환경에서도 MNIST 및 CIFAR-10에서 경쟁 가능한 성능을 달성하여 표준 하드웨어에서 접근 가능하고 자동화된 신경망 아키텍처 탐색의 타당성을 입증한다.

ABSTRACT

Machine learning is a huge field of study in computer science and statistics dedicated to the execution of computational tasks through algorithms that do not require explicit instructions but instead rely on learning patterns from data samples to automate inferences. A large portion of the work involved in a machine learning project is to define the best type of algorithm to solve a given problem. Neural networks - especially deep neural networks - are the predominant type of solution in the field. However, the networks themselves can produce very different results according to the architectural choices made for them. Finding the optimal network topology and configurations for a given problem is a challenge that requires domain knowledge and testing efforts due to a large number of parameters that need to be considered. The purpose of this work is to propose an adapted implementation of a well-established evolutionary technique from the neuroevolution field that manages to automate the tasks of topology and hyperparameter selection. It uses a popular and accessible machine learning framework - Keras - as the back-end, presenting results and proposed changes concerning the original algorithm. The implementation is available at GitHub (https://github.com/sbcblab/Keras-CoDeepNEAT) with documentation and examples to reproduce the experiments performed for this work.

연구 동기 및 목표

• 최적의 신경망 아키텍처와 하이퍼파라미터를 수동으로 설계하는 데 필요한 분야 전문 지식과 계산 자원의 고갈을 해결하기 위해.
• NEAT 기반의 신경진화 방법인 CoDeepNEAT 알고리즘을 널리 사용되는 접근성 있는 딥러닝 프레임워크인 Keras와 통합하기 위해.
• 연구자와 실무자가 최소한의 설정과 명확한 문서화로 신경진화 실험을 재현하고 확장할 수 있도록 하기 위해.
• 제한된 하드웨어 자원 조건에서 표준 이미지 분류 벤치마크(MNIST 및 CIFAR-10)에서 Keras 통합 CoDeepNEAT의 성능을 평가하기 위해.
• 모든 생성된 네트워크의 학습에 소요되는 높은 계산 비용과 같은 진화 과정의 주요 병목 현상을 규명하고 향후 개선 방안을 제안하기 위해.

제안 방법

• 구현은 CoDeepNEAT의 공진화 메커니즘을 사용하여, 신경망 모듈이 독립적으로 진화하고 교차 및 변이를 통해 조합된다.
• 유전적 연산으로는 노드 및 연결 변이, 다양성을 유지하고 조기 수렴을 방지하기 위한 종 분류(speciation)가 포함된다.
• 역사적 표시를 활용하여 계승을 추적하고 유사한 네트워크 구조 간에 의미 있는 교차를 가능하게 한다.
• 신경망 실행을 위해 Keras를 백엔드로 사용하여 현대적인 딥러닝 워크플로우 및 하드웨어 가속 기능과의 호환성을 확보한다.
• 네트워크 적합도는 벤치마크 데이터셋에서의 학습 및 검증 정확도를 통해 평가되며, 세대 간 성능 기반으로 선택이 이루어진다.
• 프레임워크는 설정 가능한 개체 수, 세대 수 및 진화 파라미터를 지원하며, 분산 또는 병렬 평가도 가능하다.

실험 결과

연구 질문

• RQ1 CoDeepNEAT는 Keras 딥러닝 프레임워크와 효과적으로 통합되어 접근 가능하고 재현 가능한 신경망 아키텍처 탐색을 가능하게 할 수 있는가?
• RQ2 제한된 계산 자원 조건에서 Keras-CoDeepNEAT의 구현은 MNIST 및 CIFAR-10과 같은 표준 이미지 분류 벤치마크에서 얼마나 잘 성능을 내는가?
• RQ3 특히 각 후보 네트워크의 학습 시간 측면에서 진화 과정의 주요 성능 병목은 무엇인가?
• RQ4 큰 런보다 작은 개체 수와 제한된 세대 수로도 경쟁 가능한 아키텍처를 얼마나 잘 생성할 수 있는가?
• RQ5 선택적 평가나 도메인 특화의 구조 제약 조건을 통해 평가 비용을 줄일 수 있는 개선 방안은 무엇인가?

주요 결과

• Keras-CoDeepNEAT의 구현은 작은 개체 수와 제한된 하드웨어 자원만으로도 MNIST 및 CIFAR-10에서 경쟁 가능한 신경망 아키텍처를 성공적으로 생성한다.
• 제약 조건이 있는 자원 조건에서도 충분한 성능을 달성하여 표준 워크스테이션에서 자동 아키텍처 탐색의 타당성을 입증한다.
• 더 큰 개체 수와 더 많은 세대 수는 일관되게 더 좋은 결과를 산출하여, 계산 예산 증가에 따른 이 접근법의 확장성 확인된다.
• 알고리즘에서 가장 시간 소모가 큰 단계는 후보 네트워크의 학습이므로, 더 효율적인 평가 전략의 필요성이 강조된다.
• Keras와의 통합을 통해 GPU 가속 및 모델 체크포인팅과 같은 현대적인 딥러닝 도구의 원활한 사용이 가능해져 사용성과 재현 가능성이 향상된다.
• 저자들은 향후 개선 방향으로 평가 비용을 줄이기 위해 선택적 평가나 도메인 인식 구조 생성 기법을 중점적으로 고려해야 한다고 지적한다.