[논문 리뷰] Autonomous Deep Learning: A Genetic DCNN Designer for Image Classification

Benteng Ma, Yong Xia|arXiv (Cornell University)|2018. 07. 01.

Advanced Neural Network Applications참고 문헌 28인용 수 10

한 줄 요약

이 논문은 정교한 유전 알고리즘을 사용하여 이미지 분류 작업을 위한 최적의 DCNN 아키텍처를 자동으로 생성하는 유전적 딥 컨volution 네트워크(정밀 DCNN) 설계자를 제안한다. 네트워크 구성 요소를 정수 벡터로 인코딩하고 선택, 교차, 변이를 통해 진화시킴으로써, MNIST, 패션-MNIST, EMNIST 및 CIFAR 데이터셋에서 최신 기술 수준의 네트워크와 비교하거나 그 이상의 성능을 보이는 모델을 생성한다.

ABSTRACT

Recent years have witnessed the breakthrough success of deep convolutional neural networks (DCNNs) in image classification and other vision applications. Although freeing users from the troublesome handcrafted feature extraction by providing a uniform feature extraction-classification framework, DCNNs still require a handcrafted design of their architectures. In this paper, we propose the genetic DCNN designer, an autonomous learning algorithm can generate a DCNN architecture automatically based on the data available for a specific image classification problem. We first partition a DCNN into multiple stacked meta convolutional blocks and fully connected blocks, each containing the operations of convolution, pooling, fully connection, batch normalization, activation and drop out, and thus convert the architecture into an integer vector. Then, we use refined evolutionary operations, including selection, mutation and crossover to evolve a population of DCNN architectures. Our results on the MNIST, Fashion-MNIST, EMNISTDigit, EMNIST-Letter, CIFAR10 and CIFAR100 datasets suggest that the proposed genetic DCNN designer is able to produce automatically DCNN architectures, whose performance is comparable to, if not better than, that of stateof- the-art DCNN models

연구 동기 및 목표

• 이미지 분류 작업에서 수작업으로 전문가가 설계한 DCNN 아키텍처의 필요성을 제거하기 위해.
• 최소한의 인간 간섭으로 최적의 네트워크 아키텍처를 생성할 수 있는 자율 학습 시스템을 개발하기 위해.
• 기존의 진화적 접근 방식이 깊이, 필터 크기 또는 활성화 함수에 고정된 제약 조건을 부과하는 한계를 해결하기 위해.
• 탄력적이고 정수 벡터 기반의 인코딩 체계를 통해 확장 가능하고 데이터 기반의 DCNN 아키텍처 생성을 가능하게 하기 위해.
• 진화적 탐색이 수작업으로 설계된 최신 기술 수준 아키텍처와 경쟁하거나 그 이상의 성능을 보이는 모델을 생성할 수 있음을 입증하기 위해.

제안 방법

• DCNN 아키텍처는 메타-컨volution 블록과 완전 연결 블록이 쌓인 형태로 분해되며, 각 블록에는 컨볼루션, 풀링, 배치 정규화, 활성화, 드롭아웃 및 완전 연결 레이어 등의 연산이 포함된다.
• 각 네트워크 구성은 정수 벡터로 인코딩되어 유전 알고리즘 프레임워크 내에서 효율적인 표현과 조작이 가능해진다.
• 정교한 유전 알고리즘은 선택, 교차, 변이 연산을 사용하여 다수의 세대에 걸쳐 DCNN 아키텍처 집단을 진화시킨다.
• 각 후보 아키텍처의 적합도는 100 에포크 동안 훈련한 후 검증 정확도를 기반으로 평가된다.
• 알고리즘은 고정된 인구 수를 사용하며, 각 데이터셋에 대해 10세대에 걸쳐 아키텍처를 진화시키며, 세대별 성능을 모니터링한다.
• 최고 성능을 보인 아키텍처에 기반해 옵티마이저(Adam, Nadam)와 하이퍼파라미터가 선택된다.

실험 결과

연구 질문

• RQ1 유전 알고리즘이 이미지 분류 작업에서 최신 기술 수준의 수작업으로 설계된 모델과 비교하거나 그 이상의 성능을 보이는 DCNN 아키텍처를 자동으로 생성할 수 있는가?
• RQ2 제안된 정수 벡터 기반의 인코딩 체계가 복잡하고 고차원적인 아키텍처 공간을 효과적이고 효율적으로 탐색하는 데 어떻게 기여하는가?
• RQ3 예를 들어 고정된 깊이나 필터 크기 등의 아키텍처 제약 조건이 없는 것이 생성된 아키텍처의 다양성과 품질에 얼마나 기여하는가?
• RQ4 다양한 데이터셋에서 유전적 진화가 높은 성능의 아키텍처로 얼마나 빨리 수렴하는가?
• RQ5 이 방법은 성능을 희생시키지 않고도 경쟁력 있는 정확도를 달성할 수 있는 컴팩트하고 얕은 네트워크를 생성할 수 있는가?

주요 결과

• CIFAR10에서 유전적 DCNN 설계자는 테스트 정확도 89.32%를 기록하여 평가된 모델들 중에서 ResNet(90.61%)과 Capsule Net(89.40%)에 이어 세 번째로 높은 성능을 보였다.
• CIFAR100에서는 66.70%의 정확도를 기록하여 AlexNet(60.53%), VGGNet(64.37%), Highway Net(67.60%)를 모두 앞서며 세 번째로 높은 순위를 기록했다.
• 최고 성능을 보인 아키텍처들은 단지 10세대 만에 정확도 면에서 안정화되어 진화 과정의 빠른 수렴을 시사했다.
• 이 방법은 항상 최신 기술 수준의 대비 모델보다 더 적은 레이어를 가진 모델을 지속적으로 생성하여, 컴act하고 효율적인 아키텍처로의 경향성을 보였다.
• 계산 비용은 높았으며, CIFAR100과 CIFAR10에 대해 평균적으로 각 세대당 11 GPU일이 소요되어, 대규모 아키텍처 집단을 평가하는 복잡성을 반영했다.
• 높은 계산 요구량에도 불구하고, 이 방법은 경쟁적인 성능을 달성하면서도 완전히 자율적이고 데이터 기반의 DCNN 아키텍처 탐색의 가능성을 입증했다.