[논문 리뷰] GP-CNAS: Convolutional Neural Network Architecture Search with Genetic Programming

Yiheng Zhu, Yichen Yao외 5명|arXiv (Cornell University)|2018. 11. 26.

Evolutionary Algorithms and Applications참고 문헌 3인용 수 7

한 줄 요약

이 논문은 자동 컨volution 신경망 아키텍처 탐색을 위한 유전적 프로그래밍 프레임워크인 GP-CNAS를 제안한다. 이는 잔차 블록을 종단으로, 조립 연산을 함수로 사용하여 CNN을 트리로 표현하며, 탐색과 이용의 균형을 이루는 동적 크로스오버 연산자를 사용하여 효율적으로 높은 성능을 내는 균형 잡힌 아키텍처를 발견한다. 이로써 제한된 탐색 시도로도 CIFAR-10에서 경쟁력 있는 정확도를 달성한다.

ABSTRACT

Convolutional neural networks (CNNs) are effective at solving difficult problems like visual recognition, speech recognition and natural language processing. However, performance gain comes at the cost of laborious trial-and-error in designing deeper CNN architectures. In this paper, a genetic programming (GP) framework for convolutional neural network architecture search, abbreviated as GP-CNAS, is proposed to automatically search for optimal CNN architectures. GP-CNAS encodes CNNs as trees where leaf nodes (GP terminals) are selected residual blocks and non-leaf nodes (GP functions) specify the block assembling procedure. Our tree-based representation enables easy design and flexible implementation of genetic operators. Specifically, we design a dynamic crossover operator that strikes a balance between exploration and exploitation, which emphasizes CNN complexity at early stage and CNN diversity at later stage. Therefore, the desired CNN architecture with balanced depth and width can be found within limited trials. Moreover, our GP-CNAS framework is highly compatible with other manually-designed and NAS-generated block types as well. Experimental results on the CIFAR-10 dataset show that GP-CNAS is competitive among the state-of-the-art automatic and semi-automatic NAS algorithms.

연구 동기 및 목표

• 딥 러닝에서 수동적인 시도와 오류를 줄이기 위해 효과적인 컨볼루션 신경망 아키텍처의 자동 설계를 목적으로 한다.
• CNN 아키텍처 탐색에서 네트워크의 깊이와 넓이를 균형 있게 조절하는 과제를 해결한다.
• 수동 설계된 아키텍처와 NAS에 의해 생성된 잔차 블록 모두와 호환되는 유연하고 확장 가능한 프레임워크를 개발한다.
• 진화 과정에서 탐색과 이용의 균형을 동적으로 조정하여 탐색 효율성을 향상시킨다.
• 제한된 탐색 예산으로도 CIFAR-10에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• CNN 아키텍처는 잔차 블록이 단말 노드로, 내부 노드가 블록 조립 연산으로 구성된 트리로 표현된다.
• 유전적 프로그래밍 연산자인 선택, 크로스오버, 변이가 트리 기반 아키텍처의 집단을 진화시키는 데 적용된다.
• 탐색 초기에는 아키텍처의 복잡도를 강조하고, 후기에는 다양성을 강조하는 동적 크로스오버 연산자가 도입되었다.
• 이 프레임워크는 수동 설계된 것과 NAS에 의해 생성된 블록 유형을 포함한 다양한 블록 유형과의 통합을 지원하여 호환성을 높였다.
• CIFAR-10 데이터셋에서의 학습 및 검증 정확도를 통해 탐색 성능을 평가한다.
• 적합도 평가 기준은 검증 정확도이며, 이는 더 나은 성능을 내는 아키텍처로의 진화적 선택을 이끈다.

실험 결과

연구 질문

• RQ1 유전적 프로그래밍 프레임워크는 광범위한 수동 간섭 없이도 고성능 CNN 아키텍처를 효과적으로 탐색할 수 있는가?
• RQ2 신경망 아키텍처 탐색 중에 탐색과 이용을 어떻게 동적으로 균형 있게 조절할 수 있을까? 이는 수렴성과 성능 향상에 기여하는가?
• RQ3 이 프레임워크는 수동 설계 및 NAS에서 유래한 다양한 유형의 잔차 블록에 얼마나 일반화될 수 있는가?
• RQ4 기존의 자동 및 반자동 NAS 방법들과 비교했을 때, 표준 벤치마크에서 GP-CNAS의 성능은 어떠한가?
• RQ5 제한된 탐색 시도 내에서 GP-CNAS는 균형 잡히고 효율적인 아키텍처를 발견할 수 있는가?

주요 결과

• GP-CNAS는 CIFAR-10에서 경쟁력 있는 테스트 정확도를 달성하여 최신 기술 수준의 자동 및 반자동 NAS 방법과 비교해도 뛰어난 성능을 보였다.
• 동적 크로스오버 연산자가 아키텍처의 복잡도와 다양성의 균형을 성공적으로 조절하여 더 빠른 수렴과 더 나은 최종 아키텍처를 이끌어냈다.
• 이 프레임워크는 수동 설계된 블록과 NAS에서 생성된 블록을 포함한 다양한 잔차 블록 유형과 매우 높은 호환성을 보였으며, 탄력적인 통합이 가능했다.
• 트리 기반 표현 방식 덕분에 유전적 연산자의 효율적이고 영리한 적용이 가능하여 탐색 효율성이 향상되었다.
• 이 방법은 제한된 수의 시도 내에서 최적의 깊이와 넓이를 가진 균형 잡힌 CNN 아키텍처를 발견하여 광범위한 하이퍼파rameter 튜닝의 필요성을 줄였다.