[논문 리뷰] Particle Swarm Optimisation for Evolving Deep Neural Networks for Image Classification by Evolving and Stacking Transferable Blocks

Bin Wang, Bing Xue외 1명|arXiv (Cornell University)|2019. 07. 29.

Advanced Neural Network Applications참고 문헌 34인용 수 6

한 줄 요약

이 논문은 CIFAR-10의 소규모 서브셋에서 하나의 이식 가능한 밀집 블록을 진화시켜 깊은 CNN을 구성하는 효율적인 입자군집최적화(PSO) 방법인 EPSOCNN을 제안한다. DenseNet 아키텍처 전문 지식을 활용해 검색 공간을 최소화하고 전이학습을 활용함으로써, 10개의 GPU에서 9시간의 훈련만으로도 SOTA 정확도를 달성하였으며, 이는 CIFAR-100과 SVHN에서도 잘 일반화된다.

ABSTRACT

Deep Convolutional Neural Networks (CNNs) have been widely used in image classification tasks, but the process of designing CNN architectures is very complex, so Neural Architecture Search (NAS), automatically searching for optimal CNN architectures, has attracted more and more research interests. However, the computational cost of NAS is often too high to apply NAS on real-life applications. In this paper, an efficient particle swarm optimisation method named EPSOCNN is proposed to evolve CNN architectures inspired by the idea of transfer learning. EPSOCNN successfully reduces the computation cost by minimising the search space to a single block and utilising a small subset of the training set to evaluate CNNs during evolutionary process. Meanwhile, EPSOCNN also keeps very competitive classification accuracy by stacking the evolved block multiple times to fit the whole dataset. The proposed EPSOCNN algorithm is evaluated on CIFAR-10 dataset and compared with 13 peer competitors comprised of deep CNNs crafted by hand, learned by reinforcement learning methods and evolved by evolutionary computation approaches, which shows very promising results by outperforming all of the peer competitors with regard to the classification accuracy, number of parameters and the computational cost.

연구 동기 및 목표

• 이미지 분류를 위한 신경망 아키텍처 탐색(NAS)의 계산 비용을 줄이면서도 높은 분류 정확도를 유지하는 것.
• 소규모 훈련 서브셋에서 하나의 재사용 가능한 CNN 블록을 진화시켜 전이학습을 활용하는 것.
• 전체 NAS 프로세스를 다시 실행하지 않고도 진화된 블록을 점진적으로 스택하여 모델 용량을 증가시키는 것.
• CIFAR-100과 SVHN과 같이 관련이 있지만 다른 데이터셋에서 진화된 블록의 이식 가능성 평가.
• 인간이 설계한 아키텍처 전문 지식(예: DenseNet)이 효율적인 진화적 탐색을 위한 검색 공간을 제약하는 데 효과적으로 활용될 수 있는지 보여주는 것.

제안 방법

• 수동으로 설계된 CNN의 사전 지식을 활용해, 단일 DenseNet 블록의 하이퍼파ram터—특히 레이어 수와 성장률—만을 인코딩함으로써 검색 공간을 최소화한다.
• 입자군집최적화(PSO)를 사용해 DenseNet 블록의 하이퍼파ram터를 진화시키며, 적합도 평가를 위해 CIFAR-10 훈련 데이터의 소규모 서브셋(10%)을 사용한다.
• 소규모 훈련 서브셋으로 인한 편향을 줄이고 수렴 안정성을 향상시키기 위해 PSO 동안 Adam 최적화를 적용한다.
• 진화 후 가장 성능이 뛰어난 블록을 세 번 스택하여 전체 CIFAR-10 데이터셋을 학습할 수 있는 더 깊은 네트워크를 구성한다.
• 최종 모델은 학습률 스케줄링 전략과 함께 SGD를 사용해 미세조정하여 테스트 정확도를 향상시킨다.
• 진화된 블록은 NAS 프로세스를 다시 실행하지 않고도 CIFAR-100과 SVHN에 그대로 이식되어 이식 가능성의 성능을 입증한다.

실험 결과

연구 질문

• RQ1 소규모 서브셋에서 훈련된 단일 진화된 CNN 블록이 전체 스케일의 이미지 분류 작업에 잘 일반화될 수 있는가?
• RQ2 단일 이식 가능한 블록으로 검색 공간을 최소화하면 정확도를 희생시키지 않고도 계산 비용을 크게 줄일 수 있는가?
• RQ3 진화된 블록을 여러 번 스택함으로써 모델 용량을 효과적으로 확장하면서도 성능을 유지할 수 있는가?
• RQ4 제안된 PSO 기반 NAS 방법은 수동 설계, 강화학습 기반, 진화계산 기반의 경쟁자들과 비교해 정확도, 모델 크기, 탐색 비용 측면에서 어떻게 성능을 내는가?
• RQ5 CIFAR-10에서 진화된 블록이 다른 데이터셋인 CIFAR-100과 SVHN으로 이식되어 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• EPSOCNN는 CIFAR-10에서 테스트 오차율 4.47%를 기록하여 수동 설계, 강화학습 기반, 진화계산 기반의 13개 경쟁 모델을 모두 앞서며 SOTA 성능을 달성했다.
• 최종 아키텍처를 진화시키는 데 10개의 GPU에서 단 9시간의 훈련만 소요되어 이전의 NAS 방법들에 비해 계산 비용을 크게 줄였다.
• 진화된 블록은 CIFAR-100에서 테스트 오차율 20.81%, SVHN에서 5.83%를 기록하여 두 데이터셋 모두에서 모든 경쟁자들을 능가했다.
• 세 개의 진화된 블록을 스택한 최종 모델은 다양한 데이터셋에서 강력한 일반화 능력과 강인성을 보였다.
• PSO 알고리즘은 12번째 세대부터 안정된 성능을 달성하며 빠르게 수렴했으며, 효과적인 탐색과 조기 수렴 회피를 보였다.
• 스튜던트의 t-검정을 통해 EPSOCNN와 모든 경쟁자 간의 성능 차이가 통계적으로 유의미하다고 확인되어 결과의 신뢰성을 입증했다.