[논문 리뷰] A Genetic Programming Approach to Designing Convolutional Neural Network Architectures

Masanori Suganuma, Shinichi Shirakawa외 1명|arXiv (Cornell University)|2017. 04. 03.

Evolutionary Algorithms and Applications참고 문헌 35인용 수 61

한 줄 요약

이 논문은 Cartesian genetic programming을 사용하고 고도로 기능적인 CNN 모듈로 CIFAR-10용 CNN 아키텍처를 자동으로 설계하며 인간이 설계한 아키텍처 없이도 경쟁력 있는 결과를 얻는다.

ABSTRACT

The convolutional neural network (CNN), which is one of the deep learning models, has seen much success in a variety of computer vision tasks. However, designing CNN architectures still requires expert knowledge and a lot of trial and error. In this paper, we attempt to automatically construct CNN architectures for an image classification task based on Cartesian genetic programming (CGP). In our method, we adopt highly functional modules, such as convolutional blocks and tensor concatenation, as the node functions in CGP. The CNN structure and connectivity represented by the CGP encoding method are optimized to maximize the validation accuracy. To evaluate the proposed method, we constructed a CNN architecture for the image classification task with the CIFAR-10 dataset. The experimental result shows that the proposed method can be used to automatically find the competitive CNN architecture compared with state-of-the-art models.

연구 동기 및 목표

• 전문가가 설계한 모델에 대한 의존성을 줄이기 위해 자동 CNN 아키텍처 설계 동기를 부여한다.
• CNN 아키텍처와 연결을 나타내기 위한 CGP 기반 인코딩을 도입한다.
• CGP-CNN을 CIFAR-10에 대해 평가하고 최첨단 모델과 비교한다.
• 성능과 아키텍처 형태에 미치는 ConvSet vs ResSet 노드 기능 세트의 영향을 조사한다.

제안 방법

• CNN 아키텍처를 고정된 노드 격자로 Cartesian genetic programs로 표현한다.
• 여섯 개의 노드 기능을 사용한다: ConvBlock, ResBlock, 최대 풀링, 평균 풀링, 연결(concatenation), 합산(summation).
• 각 후보 아키텍처를 학습시키고 검증 정확도를 적합도(fitness)로 할당한다.
• 강제적 및 중립적 변이를 포함한 수정된 (1+2) 진화 전략으로 아키텍처를 반복적으로 개선한다.
• 두 기능 세트(ConvSet 및 ResSet)를 비교하여 아키텍처 스타일을 탐색한다.
• 최적의 발견 아키텍처를 전체 학습 데이터로 재학습하여 최종 테스트 정확도를 보고한다.

실험 결과

연구 질문

• RQ1 고도로 기능적인 모듈을 갖춘 CGP가 CIFAR-10에 대해 경쟁력 있는 CNN 아키텍처를 자동으로 발견할 수 있는가?
• RQ2 ConvBlock 기반 및 ResBlock 기반 기능 세트가 탐색 및 결과 아키텍처에 어떤 영향을 미치는가?
• RQ3 CGP로 설계된 CNN의 모델 크기(매개변수)와 정확도 간의 트레이드오프는 어떠한가?
• RQ4 CIFAR-10에서 CGP-CNN이 수제(hand-crafted) 및 RL 기반 아키텍처 탐색 방법과 비교하면 어떠한가?

주요 결과

모형	오류율	# 매개변수 (×10^6)
Maxout	9.38	–
Network in Network	8.81	–
VGG (D)	7.94	15.2
ResNet	6.61	1.7
MetaQNN	9.09	3.7
Neural Architecture Search	3.65	37.4
CGP-CNN (ConvSet)	6.75	1.52
CGP-CNN (ResSet)	5.98	1.68

• ResSet을 가진 CGP-CNN은 비교 모델 중 기본 시나리오에서 가장 낮은 오류를 기록했다(오류 5.98%, 매개변수 1.68×10^6).
• ConvSet을 가진 CGP-CNN은 6.75% 오류에 1.52×10^6 매개변수를 보여주며 경쟁력 있는 성능과 다른 아키텍처 스타일을 나타낸다.
• 소량 데이터 시나리오에서 CGP-CNN (ConvSet) 및 CGP-CNN (ResSet)은 VGG 및 ResNet보다 우수하며 각각 23.48% 및 23.47% 오류와 비교적 작은 매개변수 수를 보인다.
• 최고의 CGP-CNN 아키텍처는 ResNet 유사 패턴을 닮아있으며, 단축 경로 연결 및 다운샘플링 대안을 포함하여 인간 경쟁력 있는 설계를 발견할 수 있음을 보여준다.
• RL 기반 NAS 방법과 비교하여 CGP-CNN은 컴퓨팅 자원이 크게 덜 소모되며(수백 대의 GPU 없음).
• 이 연구는 CGP를 통한 아키텍처 탐색이 효과적인 CNN을 도출할 수 있으며 아키텍처 스타일은 선택된 기능 세트에 의해 영향을 받는다는 것을 시사한다.]
• table_headers: ["모형", "오류율", "# 매개변수 (×10^6)"]
• table_rows:[[