[논문 리뷰] Evolving Deep Convolutional Neural Networks for Image Classification

Yanan Sun, Bing Xue외 2명|arXiv (Cornell University)|2017. 10. 30.

Metaheuristic Optimization Algorithms Research참고 문헌 60인용 수 82

한 줄 요약

본 논문은 EvoCNN을 제안합니다. 이는 이미지 분류를 위해 CNN 아키텍처와 가중치 초기화를 자동으로 진화시키는 유전 알고리즘 기반 방법으로, 가변 길이 인코딩과 효율적인 적합도 평가를 특징으로 합니다.

ABSTRACT

Evolutionary computation methods have been successfully applied to neural networks since two decades ago, while those methods cannot scale well to the modern deep neural networks due to the complicated architectures and large quantities of connection weights. In this paper, we propose a new method using genetic algorithms for evolving the architectures and connection weight initialization values of a deep convolutional neural network to address image classification problems. In the proposed algorithm, an efficient variable-length gene encoding strategy is designed to represent the different building blocks and the unpredictable optimal depth in convolutional neural networks. In addition, a new representation scheme is developed for effectively initializing connection weights of deep convolutional neural networks, which is expected to avoid networks getting stuck into local minima which is typically a major issue in the backward gradient-based optimization. Furthermore, a novel fitness evaluation method is proposed to speed up the heuristic search with substantially less computational resource. The proposed algorithm is examined and compared with 22 existing algorithms on nine widely used image classification tasks, including the state-of-the-art methods. The experimental results demonstrate the remarkable superiority of the proposed algorithm over the state-of-the-art algorithms in terms of classification error rate and the number of parameters (weights).

연구 동기 및 목표

• 수동 조정 이상으로 확장되는 CNN의 아키텍처 설계와 가중치 초기화 필요성을 동기화한다.
• CNN 블록과 깊이를 표현하기 위한 유연하고 가변 길이 유전 인코딩을 제안한다.
• 딥 CNN를 위한 효율적인 GA 기반 적합도 평가 및 가중치 초기화 체계를 개발한다.
• 높은 정확도를 유지하면서 적은 매개변수로 CNN 아키텍처를 자동으로 발견하게 한다.

제안 방법

• 합성곱, 풀링, 완전 연결 계층을 표현하기 위한 가변 길이 유전자 인코딩 전략을 도입한다.
• 잠재적으로 수백만 개의 매개변수를 초기화하기 위해 가중치의 두 가지 통계(평균 및 표준편차)만 인코딩한다.
• 평균 성능과 모델 크기의 균형을 맞추기 위해 부모 선택에 Slack Binary Tournament를 사용한다.
• 같은 단위 블록을 교환하여 가변 길이 염색체를 다루는 Unit Alignment 교차를 설계한다.
• 적은 수의 에폭으로 각 아키텍처를 학습하고 정확도의 평균/분산과 매개변수 수를 적합도로 사용하여 효율적인 적합도 평가를 적용한다.
• 환경적 선택을 적용하여 세대 간 엘리트성과 다양성을 유지한다.

실험 결과

연구 질문

• RQ1 EvoCNN이 수동 개입 없이도 이미지 분류를 위한 효과적인 CNN 아키텍처를 자동으로 발견할 수 있는가?
• RQ2 아키텍처와 가중치 초기화를 모두 진화시키는 것이 최신 방법들에 비해 더 적은 매개변수로 더 높은 정확도를 이끌어내는가?
• RQ3 제안된 적합도 평가가 제한된 계산 자원에서 탐색을 얼마나 효과적으로 안내하는가?
• RQ4 Unit Alignment 교차가 단위 무결성을 보존하면서 가변 길이 아키텍처를 효율적으로 재조합하는가?
• RQ5 EvoCNN으로 CNN을 진화시킬 때 모델 크기와 정확도 사이에 어떤 균형이 나타나는가?

주요 결과

• EvoCNN은 분류 오차율과 매개변수 수 측면에서 최첨단 방법들보다 우수한 성능을 보여준다.
• 이 방법은 미리 정의된 최대 깊이 없이 다양한 깊이와 빌딩 블록을 포함할 수 있는 CNN 아키텍처를 진화시킨다.
• 가중치 초기화는 평균 및 표준편차로 표현되어 큰 네트워크에 대한 초기 가중치를 효율적으로 샘플링할 수 있게 한다.
• Slack Binary Tournament와 Unit Alignment 교차는 가변 길이의 다중 블록 CNN 염색체에서 효과적인 GA 탐색을 가능하게 한다.
• 적합도 평가는 초기 에폭 학습과 통계를 사용하여 성능을 근사화하고 계산 요구를 줄이면서 탐색을 유도한다.
• 다수의 기존 접근법과 비교하여 EvoCNN은 정확도와 가중치 수 사이에서 우호적인 트레이드오프를 달성한다.