[논문 리뷰] A Hybrid Differential Evolution Approach to Designing Deep Convolutional Neural Networks for Image Classification

Bin Wang, Yanan Sun외 2명|arXiv (Cornell University)|2018. 08. 20.

Metaheuristic Optimization Algorithms Research인용 수 9

한 줄 요약

이 논문은 고정된 깊이 제약 없이 이미지 분류를 위한 변수 길이의 딥 컨volution 신경망(CNN) 아키텍처를 진화시키는 하이브리드 차등 진화 알고리즘인 DECNN을 제안한다. 변수 길이 CNN에 대한 인코딩 방식을 개선하고, 새로운 돌연변이 및 교차 연산자를 도입하며, 깊이 최적화를 위해 두 번째 교차 연산자를 추가함으로써, DECNN은 6개의 벤치마크 데이터셋에서 기존의 12개의 방법과 입자 군집 최적화 기반 기준선(IPPSO)을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Convolutional Neural Networks (CNNs) have demonstrated their superiority in image classification, and evolutionary computation (EC) methods have recently been surging to automatically design the architectures of CNNs to save the tedious work of manually designing CNNs. In this paper, a new hybrid differential evolution (DE) algorithm with a newly added crossover operator is proposed to evolve the architectures of CNNs of any lengths, which is named DECNN. There are three new ideas in the proposed DECNN method. Firstly, an existing effective encoding scheme is refined to cater for variable-length CNN architectures; Secondly, the new mutation and crossover operators are developed for variable-length DE to optimise the hyperparameters of CNNs; Finally, the new second crossover is introduced to evolve the depth of the CNN architectures. The proposed algorithm is tested on six widely-used benchmark datasets and the results are compared to 12 state-of-the-art methods, which shows the proposed method is vigorously competitive to the state-of-the-art algorithms. Furthermore, the proposed method is also compared with a method using particle swarm optimisation with a similar encoding strategy named IPPSO, and the proposed DECNN outperforms IPPSO in terms of the accuracy.

연구 동기 및 목표

• 기존의 CNN 아키텍처 탐색 방법에서 최대 깊이를 고정하는 제약을 극복하기 위해, 특히 네트워크 깊이를 사전에 정의해야 하는 인코딩 전략의 한계를 해결한다.
• 임의의 깊이를 가진 CNN 아키텍처를 진화시킬 수 있는 변수 길이 벡터를 처리할 수 있는 차등 진화(DE) 프레임워크를 개발한다.
• 변수 길이 DE에 적합한 새로운 돌연변이 및 교차 연산자를 설계하여 CNN의 초기화파ram터를 최적화한다.
• 부모와 다른 깊이를 가진 자식을 생성할 수 있도록 허용함으로써 깊이 탐색을 가능하게 하는 두 번째 교차 연산자를 도입한다.
• 다양한 이미지 분류 벤치마크에서 12개의 최신 기술 수준의 방법과 입자 군집 최적화 기반 경쟁자(IPPSO)와의 비교를 통해 제안된 DECNN 방법의 성능을 평가한다.

제안 방법

• 사전에 정의된 최대 깊이가 필요 없도록 IP 기반 인코딩 전략(IPES)을 개선하여, 실제로 변수 길이로 CNN 아키텍처를 표현할 수 있도록 한다.
• 임의의 인덱스를 선택하고 부모 벡터를 기반으로 한 차등 변형을 적용함으로써 변수 길이 후보 벡터에서 작동하는 새로운 돌연변이 연산자를 설계한다.
• 임의의 인덱스와 교차 비율을 사용하여 이진 교차를 수행함으로써 변수 길이 벡터에서 시험 벡터를 생성하는 주요 교차 연산자를 개발한다.
• 부모로부터 더 길거나 더 짧은 두 자식을 생성할 수 있도록 하는 두 번째 교차 연산자를 도입함으로써, 깊이 탐색을 경쟁 기반으로 촉진한다.
• 새로운 연산자를 하이브리드 DE 프레임워크(DECNN)에 통합하여, 적합도(분류 정확도) 기반의 반복적 선택을 통해 CNN 아키텍처를 진화시킨다.
• 각 후보 아키텍처의 학습 및 검증 정확도를 통한 적합도 평가를 통해 알고리즘을 6개의 벤치마크 데이터셋에서 CNN을 진화시키는 데 적용한다.

실험 결과

연구 질문

• RQ1 사전에 정의된 최대 깊이가 필요 없이, 차등 진화 기반 방법이 변수 길이 CNN 아키텍처를 효과적으로 진화시킬 수 있는가?
• RQ2 변수 길이 벡터를 위한 제안된 돌연변이 및 교차 연산자가 CNN 아키텍처 설계의 탐색 성능에 어떻게 기여하는가?
• RQ3 특히 자식의 깊이가 부모와 다를 수 있도록 허용하는 두 번째 교차 연산자의 영향은 CNN 깊이 최적화와 전체 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 이미지 분류 벤치마크에서 DECNN은 12개의 최신 기술 수준의 CNN 아키텍처 탐색 방법과 비교해 성능가능한가?
• RQ5 유사한 인코딩 전략을 가진 동료 진화 계산 방법(IPPSO)과 비교해 DECNN은 정확도와 수렴 안정성 측면에서 뛰어나다고 할 수 있는가?

주요 결과

• DECNN은 MBI 및 MRB 데이터셋에서 각각 1위와 2위를 기록하여, 비교된 13개의 방법 중 가장 높은 분류 정확도를 달성했다.
• MRD 및 MDRBI 데이터셋에서는 각각 3위와 2위를 기록하여 복잡한 데이터셋에서도 뛰어난 성능을 보였다.
• MB 데이터셋에서 DECNN의 평균 오차율은 1.457%였고, IPPSO의 평균 오차율 1.558%를 뛰어넘었으며, p-값 0.01은 통계적으로 유의미한 차이를 나타냈다.
• 6개의 데이터셋 중 5개에서 DECNN의 오차율 표준편차가 IPPSO보다 항상 낮게 유지되어 더 높은 안정성을 보였다.
• DECNN에서 진화된 CNN 아키텍처는 초기 평균 길이 약 10에서 3~5층으로 감소하여, 데이터셋의 복잡성에 따라 효과적인 깊이 최적화가 이루어졌음을 보여주었다.
• 두 번째 교차 연산자가 자식의 깊이 다양성을 가능하게 하여, 더 나은 깊이와 초깃값 설정을 가진 아키텍처가 선택되는 데 기여함으로써 성능 향상에 크게 기여했다.