[논문 리뷰] Genetic CNN

Lingxi Xie, Alan Yuille|arXiv (Cornell University)|2017. 03. 04.

Bioinformatics and Genomic Networks인용 수 11

한 줄 요약

이 논문은 유전 알고리즘을 사용하여 고성능 딥 컨volution 네트워크 아키텍처를 자동으로 탐색하는 Genetic CNN을 제안한다. 네트워크 아키텍처를 고정 길이의 이진 문자열로 인코딩하고 선택, 돌연변이, 교배 연산을 적용함으로써, 소규모 데이터셋(MNIST, CIFAR10)에서 아키텍처를 진화시키며, 이를 ILSVRC2012에 성공적으로 전이하여 경쟁력 있는 정확도를 달성한다. 예를 들어, GeNet #2는 유사한 깊이를 가진 VGGNet-16보다 우수한 성능을 보이며, 상위-1 오차율 27.87%를 기록했다.

ABSTRACT

The deep Convolutional Neural Network (CNN) is the state-of-the-art solution for large-scale visual recognition. Following basic principles such as increasing the depth and constructing highway connections, researchers have manually designed a lot of fixed network structures and verified their effectiveness. In this paper, we discuss the possibility of learning deep network structures automatically. Note that the number of possible network structures increases exponentially with the number of layers in the network, which inspires us to adopt the genetic algorithm to efficiently traverse this large search space. We first propose an encoding method to represent each network structure in a fixed-length binary string, and initialize the genetic algorithm by generating a set of randomized individuals. In each generation, we define standard genetic operations, e.g., selection, mutation and crossover, to eliminate weak individuals and then generate more competitive ones. The competitiveness of each individual is defined as its recognition accuracy, which is obtained via training the network from scratch and evaluating it on a validation set. We run the genetic process on two small datasets, i.e., MNIST and CIFAR10, demonstrating its ability to evolve and find high-quality structures which are little studied before. These structures are also transferrable to the large-scale ILSVRC2012 dataset.

연구 동기 및 목표

• 수동 설계를 초월한 딥 네트워크 아키텍처의 자동 설계를 탐색하기 위해.
• 깊이 증가에 따라 기하급수적으로 증가하는 가능한 네트워크 아키텍처의 수를 다루기 위해 확장 가능한 탐색 방법을 사용하기 위해.
• 소규모 데이터셋에서 진화된 아키텍처가 대규모 시각 인식 작업으로 일반화되는지 평가하기 위해.
• 유전 알고리즘이 이전에 문헌에서 다뤄지지 않은 비표준 고성능 아키텍처를 발견할 수 있음을 보여주기 위해.

제안 방법

• 유전 연산을 가능하게 하기 위해 각 신경망 아키텍처를 고정 길이의 이진 문자열로 인코딩하기 위해.
• 유전 알고리즘을 위한 무작위 네트워크 아키텍처(개체)의 집단을 초기화하기 위해.
• 표준 유전 연산인 선택, 교배, 돌연변이를 적용하여 세대를 거쳐 집단을 진화시키기 위해.
• 기준 데이터셋(MNIST 또는 CIFAR10)에서의 전체 훈련 및 검증을 통해 각 개체의 적합도 평가하기 위해.
• 진화를 이끄는 데 사용하기 위해 검증 세트에서의 인식 정확도를 적합도 함수로 사용하기 위해.
• 가장 뛰어난 성능을 보인 진화된 아키텍처를 대규모 ILSVRC2012에 전이하여 평가하기 위해.

실험 결과

연구 질문

• RQ1 유전 알고리즘이 가능한 딥 CNN 아키텍처의 광범위한 공간을 효과적으로 탐색할 수 있는가?
• RQ2 CIFAR10과 같은 소규모 데이터셋에서 진화된 아키텍처가 ILSVRC2012와 같은 대규모 인식 작업으로 일반화되는가?
• RQ3 유전 알고리즘이 표준 수동 설계 모델보다 뛰어난 성능을 내는 새로운 아키텍처를 발견할 수 있는가?
• RQ4 정확도와 구조 측면에서 VGGNet, ResNet, GoogLeNet과 같은 최신 기술 모델과 비교해 볼 때 진화된 아키텍처는 어떻게 성능을 내는가?

주요 결과

• 유전 알고리즘이 MNIST 및 CIFAR10에서 새로운 네트워크 아키텍처를 성공적으로 진화시켰으며, 일부 경우에서 표준 모델보다 낮은 오차율을 달성했다.
• GeNet #2는 ILSVRC2012에서 상위-1 오차율 27.87%를 기록하여 깊이가 유사한 VGGNet-16(28.5%)를 능가했다.
• 특히 GeNet #1 및 #2와 같은 진화된 아키텍처는 소규모에서 대규모 데이터셋으로의 전이 능력이 뛰어났다.
• 유전 과정에서 유래한 최고 성능의 아키텍처들은 이전에 문헌에서 다뤄지지 않은 것으로, 경쟁 가능한 성능을 보였다.
• 다양한 초기화 전략에 대해 유연성을 보이며, 유전 과정의 안정적 수렴을 시사했다.
• 계산 비용이 높지만, 인간이 설계한 아키텍처 편향에 의존하지 않고도 고품질의 아키텍처를 효과적으로 발견할 수 있었다.