[논문 리뷰] A Hybrid DE Approach to Designing CNN for Image Classification

Bin Wang, Yanan Sun외 2명|arXiv (Cornell University)|2018. 08. 20.

Neural Networks and Applications인용 수 1

한 줄 요약

이 논문은 다양한 길이의 컨볼루션 신경망(CNN) 아키텍처를 자동으로 진화시킬 수 있도록 새로운 교차 연산자를 포함한 하이브리드 미분 진화 알고리즘인 DECNN을 제안한다. 인코딩 체계를 개선하고, 전문화된 변형 및 교차 연산자를 도입함으로써(특히 네트워크 깊이 최적화를 위한 두 번째 교차 연산자 포함), 여섯 개인 기준 데이터셋에서 최신 기술 수준의 성능을 달성하여 12개의 기존 방법과 유사한 입자 군집 최적화 방법보다 정확도에서 뛰어난 성능을 보였다.

ABSTRACT

Convolutional Neural Networks (CNNs) have demonstrated their superiority in image classification, and evolutionary computation (EC) methods have recently been surging to automatically design the architectures of CNNs to save the tedious work of manually designing CNNs. In this paper, a new hybrid differential evolution (DE) algorithm with a newly added crossover operator is proposed to evolve the architectures of CNNs of any lengths, which is named DECNN. There are three new ideas in the proposed DECNN method. Firstly, an existing effective encoding scheme is refined to cater for variable-length CNN architectures; Secondly, the new mutation and crossover operators are developed for variable-length DE to optimise the hyperparameters of CNNs; Finally, the new second crossover is introduced to evolve the depth of the CNN architectures. The proposed algorithm is tested on six widely-used benchmark datasets and the results are compared to 12 state-of-the-art methods, which shows the proposed method is vigorously competitive to the state-of-the-art algorithms. Furthermore, the proposed method is also compared with a method using particle swarm optimisation with a similar encoding strategy named IPPSO, and the proposed DECNN outperforms IPPSO in terms of the accuracy.

연구 동기 및 목표

• 이미지 분류를 위한 효과적인 CNN 아키텍처를 설계하기 위해 요구되는 높은 수동 작업을 해결하기 위해.
• 진화 계산을 이용해 가변 깊이 및 아키텍처를 가진 CNN을 자동으로 진화시킬 수 있도록 하기 위해.
• 새로운 미분 진화 연산자를 통해 CNN 하이퍼파라미터 최적화 성능을 향상시키기 위해.
• 자동 아키텍처 검색을 통해 기존 최신 기술 수준의 방법보다 뛰어난 정확도를 달성하기 위해.

제안 방법

• 가변 길이의 CNN 아키텍처를 효과적으로 표현할 수 있도록 개선된 인코딩 체계를 사용하여 진화 과정에서의 탄력성과 효율성을 확보한다.
• 가변 길이의 미분 진화에 특화된 새로운 변형 연산자를 설계하여 다양한 CNN 아키텍처를 탐색한다.
• 진화 중인 CNN 하이퍼파라미터의 다양성과 수렴성을 향상시키기 위해 새로운 교차 연산자를 도입한다.
• 특히 CNN 아키텍처의 깊이를 진화시키기 위해 두 번째 교차 메커니즘을 개발하여 아키텍처 최적화를 향상시킨다.
• 분류 정확도를 기반으로 한 적합도 함수를 사용하여 여섯 개인 기준 데이터셋에서 CNN을 진화시키는 데 알고리즘을 적용한다.
• 동일한 인코딩 전략을 사용한 12개의 최신 기술 수준의 방법과 입자 군집 최적화 변종(IPPSO)과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 하이브리드 미분 진화 알고리즘이 이미지 분류를 위한 가변 길이의 CNN 아키텍처를 효과적으로 진화시킬 수 있는가?
• RQ2 제안된 새로운 교차 연산자가 표준 DE에 비해 CNN 하이퍼파라미터 최적화에 어떻게 기여하는가?
• RQ3 네트워크 깊이를 대상으로 하는 두 번째 교차 연산자가 아키텍처 검색 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 DECNN 방법이 기존 최신 기술 수준의 자동 CNN 설계 방법보다 뛰어난 정확도를 달성하는가?
• RQ5 동일한 인코딩 전략을 사용한 유사한 입자 군집 최적화 방법(IPPSO)과 비교할 때 DECNN의 성능은 어떠한가?

주요 결과

• 제안된 DECNN 방법은 여섯 개인 널리 사용되는 기준 데이터셋에서 경쟁적인 성능을 달성하였으며, 이미지 분류 분야에서 12개의 최신 기술 수준 방법보다 뛰어난 정확도를 기록하였다.
• 동일한 인코딩 전략을 사용할 때 DECNN은 입자 군집 최적화 기반 방법인 IPPSO보다 더 높은 분류 정확도를 보였다.
• 두 번째 교차 연산자의 통합은 CNN 깊이 최적화에 크게 기여하여 전체 성능 향상에 기여하였다.
• 개선된 인코딩 체계는 가변적인 아키텍처 길이를 가진 CNN의 표현과 진화를 성공적으로 지원하였다.
• 새로운 변형 및 교차 연산자는 탐색 공간 내 탐색과 이용의 균형을 향상시켜 더 효과적인 CNN 아키텍처 탐색을 가능하게 하였다.
• 결과는 맞춤형 연산자를 갖춘 하이브리드 DE가 자동 CNN 아키텍처 설계에 있어 강력하고 효과적인 접근법임을 확인시켰다.