[논문 리뷰] GACNN: Training Deep Convolutional Neural Networks with Genetic Algorithm

Parsa Esfahanian, Mohammad Akhavan|arXiv (Cornell University)|2019. 09. 29.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 유전 알고리즘(GAs)을 사용하여 딥 컨volution 신경망(CNNs)을 훈련시키는 데 위한 새로운 방법인 GACNN을 제안한다. 이는 크로모좀 크기를 크게 줄이고 효율성을 향상시키기 위해 '아코디언 크로모좀 인코딩'을 도입한다. 세 가지 GA 설계—정체적, 세대별, 엘리티즘—을 평가하여, 특히 CIFAR-10과 같은 복잡한 작업에서 아코디언 인코딩을 사용한 엘리티즘 설계가 Adam 기반 역전파보다 초기 훈련 단계에서 더 빠른 수렴과 높은 정확도를 달성함을 입증한다.

ABSTRACT

Convolutional Neural Networks (CNNs) have gained a significant attraction in the recent years due to their increasing real-world applications. Their performance is highly dependent to the network structure and the selected optimization method for tuning the network parameters. In this paper, we propose novel yet efficient methods for training convolutional neural networks. The most of current state of the art learning method for CNNs are based on Gradient decent. In contrary to the traditional CNN training methods, we propose to optimize the CNNs using methods based on Genetic Algorithms (GAs). These methods are carried out using three individual GA schemes, Steady-State, Generational, and Elitism. We present new genetic operators for crossover, mutation and also an innovative encoding paradigm of CNNs to chromosomes aiming to reduce the resulting chromosome's size by a large factor. We compare the effectiveness and scalability of our encoding with the traditional encoding. Furthermore, the performance of individual GA schemes used for training the networks were compared with each other in means of convergence rate and overall accuracy. Finally, our new encoding alongside the superior GA-based training scheme is compared to Backpropagation training with Adam optimization.

연구 동기 및 목표

• 복잡한 CNN 작업에 대해 초기 훈련 단계에서 전통적인 역전파와 함께 Adam 최적화기를 사용할 경우 효율성이 떨어지는 문제를 해결한다.
• 기존의 네트워크-크로모좀 인코딩 방식이 큰 네트워크에서는 비현실적이 되는 제약을 극복한다.
• 전체 레이어를 유전자로 간주하여 크로모좀 크기를 줄이고 GA 효율성을 향상시키기 위해 새로운 컴팩트한 크로모좀 인코딩(아코디언)을 개발한다.
• CNN 아키텍처 최적화에 특화된 새로운 유전 연산자(교차 및 돌연변이)를 설계하고 평가한다.
• 세 가지 GA 설계—정체적, 세대별, 엘리티즘—이 CNN 훈련에서 수렴 속도와 최종 정확도 측면에서 어떻게 비교되는지 평가한다.

제안 방법

• 각 레이어(컨볼루션 또는 완전 연결)를 하나의 유전자로 인코딩하는 아코디언 크로모좀 인코딩을 제안하여, 기존의 각 가중치별 인코딩 대비 크로모좀 길이를 극적으로 단축시킨다.
• 새로운 유전 연산자를 도입한다: 부모 크로모좀 간에 전체 레이어를 교환하는 레이어 기반 교차와, 레이어별 초모수(예: 필터 수, 커널 크기)를 수정하는 돌연변이 연산자.
• 세 가지 다른 GA 훈련 설계를 적용한다: 정체적(한 번에 한 개의 개체를 교체), 세대별(전체 인구를 교체), 엘리티즘(세대 간 최상의 개체를 유지).
• MNIST 및 CIFAR-10 데이터셋에서 두 가지 딥 CNN 아키텍처에 대해 GA 기반 훈련을 적용하며, 적합도는 검증 정확도로 정의한다.
• GA 기반 훈련을 표준 역전파(Adam 최적화기 사용)와 비교하여 수렴 속도와 최종 정확도를 평가한다.
• 각 세대 후에 검증 데이터에서 네트워크 성능을 측정하는 적합도 평가 메커니즘을 사용하여 진화적 선택을 이끌어낸다.

실험 결과

연구 질문

• RQ1 새로운 크로모좀 인코딩 전략이 유전 알고리즘 내에서 CNN 표현의 크기를 크게 줄여 가용성과 성능을 향상시킬 수 있는가?
• RQ2 정체적, 세대별, 엘리티즘 설계 중 어떤 것이 딥 CNN 훈련에서 수렴 속도와 최종 정확도 측면에서 더 우수한가?
• RQ3 제안된 인코딩과 연산자를 사용한 GA 기반 훈련이 복잡한 데이터셋에서 초기 훈련 단계에서 표준 Adam 기반 역전파를 능가하는가?
• RQ4 아코디언 인코딩이 CNN 아키텍처 최적화에서 유전 연산자의 효율성과 효과를 어느 정도 향상시키는가?
• RQ5 엘리티즘 설계가 세대별 GA의 탐색 능력과 정체적 GA의 안정성을 결합하여 뛰어난 훈련 성과를 낼 수 있는가?

주요 결과

• 아코디언 인코딩은 기존의 각 가중치별 인코딩 대비 크로모좀 크기를 크게 줄여, 더 빠른 GA 연산과 더 효과적인 진화를 가능하게 한다.
• 엘리티즘 GA 설계가 가장 뛰어난 수렴 속도와 정확도의 균형을 이루며, 정체적 및 세대별 설계보다 안정성과 최종 성능에서 뛰어나다.
• 아코디언 인코딩과 엘리티즘 설계를 사용한 GA 훈련은 특히 더 복잡한 CIFAR-10 데이터셋에서 초기 훈련 단계에서 Adam 기반 역전파보다 더 빨리 더 높은 검증 정확도에 도달한다.
• MNIST 데이터셋에서는 GA 훈련이 Adam보다 정확도가 낮지만, 초기 세대에서 더 빠르게 탐색을 수행함을 보여, 초기 탐색 속도가 빠르다는 것을 시사한다.
• CIFAR-10에서는 GA 기반 접근이 결국 정확도에서 Adam을 능가하며, 고차원 문제에서 더 효과적으로 해의 영역을 확장할 수 있음을 보여준다.
• 세대별 설계는 초기 수렴 속도가 가장 빠르지만 진동 현상으로 인해 오랜 기간 동안 높은 정확도를 유지하지 못하며, 정체적 설계는 느리지만 안정적으로 수렴한다.