[논문 리뷰] Evolving Deep Convolutional Neural Networks by Variable-length Particle Swarm Optimization for Image Classification

Bin Wang, Yanan Sun외 2명|arXiv (Cornell University)|2018. 03. 17.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 이미지 분류를 위한 딥 컨volution 신경망(CNN) 아키텍처를 자동으로 진화시키기 위해 개선된 입자 군집 최적화(IPPSO) 방법을 제안한다. 새로운 IP 기반 인코딩 방식, 가변 길이 입자 표현을 위한 비활성화된 레이어, 그리고 부분 데이터셋 평가를 도입함으로써 IPPSO는 경쟁적인 정확도를 달성하였으며, MDRBI 데이터셋에서는 모든 베이스라인을 능가하고 MNIST에서는 두 번째로 높은 성능을 기록하였다. 이는 엔드 투 엔드 CNN 아키텍처 탐색을 위한 첫 번째 PSO 기반 접근법이다.

ABSTRACT

Convolutional neural networks (CNNs) are one of the most effective deep learning methods to solve image classification problems, but the best architecture of a CNN to solve a specific problem can be extremely complicated and hard to design. This paper focuses on utilising Particle Swarm Optimisation (PSO) to automatically search for the optimal architecture of CNNs without any manual work involved. In order to achieve the goal, three improvements are made based on traditional PSO. First, a novel encoding strategy inspired by computer networks which empowers particle vectors to easily encode CNN layers is proposed; Second, in order to allow the proposed method to learn variable-length CNN architectures, a Disabled layer is designed to hide some dimensions of the particle vector to achieve variable-length particles; Third, since the learning process on large data is slow, partial datasets are randomly picked for the evaluation to dramatically speed it up. The proposed algorithm is examined and compared with 12 existing algorithms including the state-of-art methods on three widely used image classification benchmark datasets. The experimental results show that the proposed algorithm is a strong competitor to the state-of-art algorithms in terms of classification error. This is the first work using PSO for automatically evolving the architectures of CNNs.

연구 동기 및 목표

• 인간의 간섭 없이 자동으로 효율적이고 효과적인 최적의 CNN 아키텍처를 진화시키는 방법을 개발한다.
• 기존 PSO의 고정 길이 제약을 극복하여 다양한 CNN 아키텍처를 위한 가변 길이 입자 벡터를 가능하게 한다.
• 전체 데이터셋 대신 무작위로 샘플링된 부분 데이터셋을 사용하여 대규모 딥 러닝에서의 적합도 평가를 가속화한다.
• IP 주소와 서브넷 구조를 활용하여 CNN 레이어 구성 방식을 효과적으로 표현하는 새로운 인코딩 전략을 설계한다.
• 유전 알고리즘과 유전 프로그래밍이 지배해 온 분야에서 PSO가 깊이 있는 신경망 아키텍처를 진화시키는 데의 가능성과 우수성을 입증한다.

제안 방법

• 각 CNN 레이어를 IP 주소와 서브넷을 가진 네트워크 인터페이스로 표현하는 IP 기반 인코딩 방식을 제안하여, 레이어 유형과 구성에 대한 융통성 있고 확장 가능한 표현을 가능하게 한다.
• 기존 PSO의 고정 길이 성질에 비해 입자 길이를 동적으로 제어할 수 있도록 '비활성화된 레이어'를 장치로 도입하여, 가변 길이 CNN 아키텍처의 진화를 가능하게 한다.
• 적합도 평가 중에 부분 데이터셋 샘플링 전략을 적용하여 훈련 시간을 크게 단축시키면서도 성능 추세를 탐지할 수 있는 능력을 유지한다.
• 표준 PSO 업데이트 메커니즘을 IP 기반 입자 벡터에 적용하며, 개인 최적 및 전역 최적 해를 기반으로 속도와 위치 업데이트를 이끌어낸다.
• 주성분 분석(PCA)을 사용하여 정확도 지도와 PSO 경로를 시각화하여 최적화 동역학과 수렴 행동에 대한 통찰을 제공한다.
• 단순성과 효과성을 위해 전체 연결형 PSO 토폴로지 구조를 구현하였으며, 각 실행에 대해 30개의 입자를 사용하고, 세 가지 표준 이미지 분류 벤치마크에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 입자 군집 최적화(Particle Swarm Optimization)가 이미지 분류를 위한 딥 컨volution 신경망 아키텍처를 자동으로 진화시키는 데 효과적으로 적용될 수 있는가?
• RQ2 기존 PSO의 고정 길이 제약을 어떻게 극복하여 가변 길이 CNN 아키텍처의 진화를 가능하게 할 수 있는가?
• RQ3 부분 데이터셋 평가 방식이 계산 비용을 크게 줄이면서도 적합도 평가의 정확도를 어느 정도 유지할 수 있는가?
• RQ4 제안된 IP 기반 인코딩 방식은 신경 아키텍처 탐색을 위한 기존 유전 알고리즘의 표현 방법에 비해 표현력과 확장성 면에서 어떻게 비교되는가?
• RQ5 제안된 IPPSO 방법은 표준 이미지 분류 벤치마크에서 최신 기술 수준의 신경 아키텍처 탐색 알고리즘과 비교해 어떤 성능을 보이는가?

주요 결과

• 제안된 IPPSO 방법은 MDRBI 벤치마크 데이터셋에서 모든 비교 알고리즘을 능가하는 최고의 분류 오차율을 달성하였다.
• MNIST 데이터셋에서는 모든 방법 중 두 번째로 높은 성능을 기록하여 강력한 경쟁력을 입증하였다.
• CS 벤치마크 데이터셋에서는 모든 비교 방법의 중앙값을 초월하는 성능을 기록하여 일관되고 신뢰할 수 있는 결과를 보였다.
• PCA를 통한 최적화 지도 분석에서 다수의 국소 최적값이 존재하는 것으로 나타났지만, PSO는 빠르게 고정밀도 해에 수렴하는 것으로 나타나 강건성과 효율성을 입증하였다.
• PSO 경로 분석 결과, 전역 최적 해는 몇 세대 내에 도달되었으며 이후 개선이 관찰되지 않아 빠른 수렴을 확인하였다.
• 부분 데이터셋을 사용한 적합도 평가로 인해 훈련 과정이 크게 가속화되었으며, 고성능 아키텍처를 식별할 능력은 손상되지 않았다.