[논문 리뷰] Automatically Evolving CNN Architectures Based on Blocks

Yanan Sun, Bing Xue외 2명|arXiv (Cornell University)|2018. 10. 28.

Advanced Neural Network Applications참고 문헌 25인용 수 22

한 줄 요약

이 논문은 ResNet 및 DenseNet 블록을 사용하여 가변 길이 인코딩을 통해 CNN 아키텍처를 진화시키는 자동 유전 알고리즘, AE-CNN을 제안한다. 이는 새로운 교차 및 돌연변이 연산자를 통해 국소적 및 전역적 탐색을 가능하게 하며, 경쟁적 방법들보다 훨씬 낮은 계산 비용으로 CIFAR-10 및 CIFAR-100에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

The performance of Convolutional Neural Networks (CNNs) highly relies on their architectures. In order to design a CNN with promising performance, extended expertise in both CNNs and the investigated problem is required, which is not necessarily held by every user interested in CNNs or the problem domain. In this paper, we propose to automatically evolve CNN architectures by using a genetic algorithm based on ResNet blocks and DenseNet blocks. The proposed algorithm is extbf{completely} automatic in designing CNN architectures, particularly, neither pre-processing before it starts nor post-processing on the designed CNN is needed. Furthermore, the proposed algorithm does not require users with domain knowledge on CNNs, the investigated problem or even genetic algorithms. The proposed algorithm is evaluated on CIFAR10 and CIFAR100 against 18 state-of-the-art peer competitors. Experimental results show that it outperforms state-of-the-art CNNs hand-crafted and CNNs designed by automatic peer competitors in terms of the classification accuracy, and achieves the competitive classification accuracy against semi-automatic peer competitors. In addition, the proposed algorithm consumes much less time than most peer competitors in finding the best CNN architectures.

연구 동기 및 목표

• CNN, 문제 영역 또는 유전 알고리즘에 대한 전문 지식이 전혀 필요 없는 완전 자동 CNN 아키텍처 탐색 방법을 개발하는 것.
• 기존 자동 및 반자동 CNN 아키텍처 탐색 방법의 한계, 즉 높은 계산 비용과 인간이 설계한 구성 요소에 대한 의존도를 극복하는 것.
• 최적의 네트워크 깊이 및 블록 조합을 적응적으로 진화시킬 수 있는 가변 길이 표현 방식을 갖춘 유전 알고리즘을 설계하는 것.
• 블록 기반 CNN를 위한 새로운 교차 연산자와 맞춤형 돌연변이 연산자를 통해 효과적인 전역 및 국소 탐색을 가능하게 하는 것.
• GPU 자원 소비를 최소화하면서도 이미지 데이터셋에서 높은 분류 정확도를 달성하는 것.

제안 방법

• ResNet 및 DenseNet 블록으로 구성된 CNN 아키텍처를 표현하기 위해 가변 길이 인코딩 체계를 사용하여 동적 깊이 진화를 가능하게 한다.
• 구조적 유사성 기반으로 블록 시퀀스를 정렬하고 재조합함으로써 가변 길이 개체를 처리할 수 있도록 새로운 교차 연산자를 설계한다.
• 블록 삽입, 삭제, 대체 및 하이퍼파라미터 변형을 포함한 다수의 돌연변이 연산자를 블록에 적용하여 국소적 및 전역적 탐색을 가능하게 한다.
• 사전 처리 또는 후처리 단계가 필요 없이 검증 정확도 기반의 적합도 함수를 사용한다.
• 세대 기반 선택 기반으로 진화가 진행되며, 더 높은 적합도를 가진 아키텍처가 여러 세대에 걸쳐 복제된다.
• 전 과정이 완전히 자동화되어 인간의 간섭이나 도메인 특화 튜닝이 필요 없다.

실험 결과

연구 질문

• RQ1 ResNet 및 DenseNet 블록 기반의 유전 알고리즘이 인간의 전문 지식 없이도 고성능 CNN 아키텍처를 자동으로 진화시킬 수 있는가?
• RQ2 제안된 새로운 교차 연산자를 갖춘 가변 길이 인코딩이 고정 길이 또는 비교교차 방법에 비해 탐색 효율성과 성능을 향상시키는가?
• RQ3 정확도와 계산 비용 측면에서 제안된 자동 CNN 아키텍처 탐색 방법이 최신 기술 수준의 수작업 설계 및 자동화된 경쟁 방법과 비교해 어떻게 성능을 내는가?
• RQ4 기존 자동화 방법보다 훨씬 적은 GPU 일 수요로 CIFAR-10 및 CIFAR-100에서 경쟁적 또는 초월하는 정확도를 달성할 수 있는가?

주요 결과

• AE-CNN는 CIFAR-10에서 테스트 오차 4.7%를 기록하여, ResNet(깊이=1,202) 및 DenseNet(k=12)를 포함한 모든 최신 기술 수준의 수작업 설계 CNN보다 0.5%에서 4.5%까지 우수한 성능을 보였다.
• CIFAR-100에서 AE-CNN은 Maxout, Network in Network, Highway Network, All-CNN보다 낮은 오차를 기록했으며, FractalNet 및 ResNet(깊이=101)과 유사한 성능을 보였다.
• CIFAR-10 및 CIFAR-100에서 각각 Hierarchical Evolution의 1/5, Block-QNN-S의 1/3에 불과한 GPU 일 수요로 뛰어난 성능를 달성했다.
• 완전 자동 방법 중에서 AE-CNN는 CIFAR-10에서 4.7% 오차로 최고의 정확도를 기록했으며, NAS(5.4% 오차), Large-scale Evolution(5.4% 오차), MetaQNN를 모두 능가했다.
• 진화된 CNN는 32M 파라미터를 가졌으며, VGG 및 FractalNet보다 적고, ResNet(깊이=1,202)와 유사하여 높은 파라미터 효율성을 보였다.
• AE-CNN는 인간 전문 지식이나 사전 정의된 기본 네트워크가 필요 없는 반자동 방법인 EAS 및 Block-QNN-S와 비교해도 경쟁 가능한 성능을 보였다.