[논문 리뷰] Large Scale Evolution of Convolutional Neural Networks Using Volunteer Computing

Travis Desell|arXiv (Cornell University)|2017. 03. 15.

Evolutionary Algorithms and Applications참고 문헌 26인용 수 15

한 줄 요약

이 논문은 BOINC 플랫폼을 통한 자원 봉사 컴퓨팅을 활용하여 필터 크기와 연결성을 최적화함으로써 컷오프 신경망(CNN)의 아키텍처를 진화시키는 새로운 진화 알고리즘 EXACT을 소개한다. 기본적인 백프로파게이션 전략을 사용함에도 불구하고, 4,500台의 자원 봉사 컴퓨터를 통해 120,000개 이상의 CNN을 훈련시켜 MNIST에서 98.32%의 테스트 정확도를 달성하였으며, 인간이 설계한 기준보다 뛰어난 성능을 보였다.

ABSTRACT

This work presents a new algorithm called evolutionary exploration of augmenting convolutional topologies (EXACT), which is capable of evolving the structure of convolutional neural networks (CNNs). EXACT is in part modeled after the neuroevolution of augmenting topologies (NEAT) algorithm, with notable exceptions to allow it to scale to large scale distributed computing environments and evolve networks with convolutional filters. In addition to multithreaded and MPI versions, EXACT has been implemented as part of a BOINC volunteer computing project, allowing large scale evolution. During a period of two months, over 4,500 volunteered computers on the Citizen Science Grid trained over 120,000 CNNs and evolved networks reaching 98.32% test data accuracy on the MNIST handwritten digits dataset. These results are even stronger as the backpropagation strategy used to train the CNNs was fairly rudimentary (ReLU units, L2 regularization and Nesterov momentum) and these were initial test runs done without refinement of the backpropagation hyperparameters. Further, the EXACT evolutionary strategy is independent of the method used to train the CNNs, so they could be further improved by advanced techniques like elastic distortions, pretraining and dropout. The evolved networks are also quite interesting, showing "organic" structures and significant differences from standard human designed architectures.

연구 동기 및 목표

• 필터 크기와 연결성 등을 포함한 임의의 컷오프 신경망 아키텍처를 진화시킬 수 있는 확장 가능한 진화 알고리즘 개발
• 대규모 분산 실행을 통해 자원 봉사 컴퓨팅 자원을 활용하여 CNN의 훈련 및 진화에 필요한 높은 계산 비용을 완화
• 진화된 CNN 아키텍처가 표준 벤치마크(예: MNIST)에서 인간이 설계한 아키텍처보다 성능과 구조적 새로움에서 뛰어나다는지 탐구
• 진화 연산자와 하이퍼파라미터가 진화된 CNN의 품질과 다양성에 미치는 영향 조사
• 3D 필터, 풀링 레이어, 하이퍼파라미터 공동 진화를 지원하는 자동화된 CNN 아키텍처 탐색의 향후 탐색 가능성을 제공

제안 방법

• EXACT은 필터 크기와 필터 간 연결을 유전적 특성로 간주하여, 돌연변이가 필터 차원과 연결 패턴을 수정함으로써 CNN을 진화시킨다.
• BOINC 플랫폼을 통해 수천 대의 자원 봉사 컴퓨팅 호스트에 걸쳐 수평적 확장이 가능한 비동기 분산 진화 전략을 사용한다.
• 적합도는 ReLU, L2 정규화, Nesterov 모멘타임을 사용한 백프로파게이션 훈련 후 검증 오차를 최소화함으로써 결정된다.
• 진화 연산자로는 엣지 활성/비활성화, 필터 크기 돌연변이, 부모 유전자의 교차가 포함되며, 후손에게 부모의 훈련된 가중치를 전이하기 위해 에피제네틱 가중치 초기화를 사용한다.
• 이 방법은 임의의 필터 크기와 연결을 지원하며, 컷오프 연산이 입력/출력 필터 크기와 커널 크기로 정의되는 그래프로 CNN을 모델링한다.
• 시스템은 마스터-워커 아키텍처로 구현되며, 마스터는 개체군과 적합도를 관리하고 워커는 로컬 하드웨어에서 CNN을 평가한다.

실험 결과

연구 질문

• RQ1 백프로파게이션 전략을 사용하는 동안, 신경진화 알고리즘이 고정된 인간 설계 아키텍처를 초월하여 필터 크기와 연결성을 포함한 컷오프 신경망 아키텍처를 효과적으로 진화시킬 수 있는가?
• RQ2 BOINC와 같은 자원 봉사 컴퓨팅 플랫폼은 표준 벤치마크에서 높은 성능을 달성하기 위해 수천 개의 CNN을 대규모로 훈련 및 진화시키는 데 얼마나 효과적으로 확장될 수 있는가?
• RQ3 유사한 백프로파게이션 전략을 사용할 때, 진화된 CNN 아키텍처는 기존 수작업 설계된 CNN과 비교해 구조적 다양성과 성능 향상을 보이는가?
• RQ4 다양한 진화 연산자(예: 엣지 활성/비활성화, 교차)는 시간이 지남에 따라 높은 성능의 CNN 아키텍처를 발견하는 데 어떻게 기여하는가?
• RQ5 에피제네틱 가중치 초기화 또는 기타 훈련 기법은 진화된 CNN의 성능을 향상시킬 수 있으며, 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• EXACT은 동일한 백프로파게이션 방법으로 훈련된 인간이 설계한 기준보다 뛰어난 성능을 보이며, MNIST 데이터셋에서 98.32%의 테스트 정확도를 달성한 CNN을 성공적으로 진화시켰다.
• ReLU, L2 정규화, Nesterov 모멘타임을 사용하는 기본적인 훈련 전략을 사용함에도 불구하고, 수작업 설계된 아키텍처보다 훈련 오차와 테스트 오차가 유의미하게 낮았다.
• 4,500대의 자원 봉사 컴퓨터에서 두 달 만에 120,000개 이상의 CNN을 훈련시켜 분산된 EXACT 프레임워크의 확장성을 입증했다.
• 진화된 네트워크는 유비적인, 표준이 아닌 구조를 보이며, 퇴화된 필터와 엣지를 포함하고 있어 기존 CNN과는 다를 수 있는 새로운 아키텍처 패턴을 시사한다.
• 교차와 엣지 활성화 연산은 시간이 지남에 따라 점점 더 효과적이었으며, 향후 EXACT 실행에서 적응형 하이퍼파라미터 조정 가능성을 시사한다.
• 에피제네틱 가중치 초기화는 훈련 에포크 수를 줄이지 않았지만, 향후 프리트레인닝 또는 드롭아웃과 같은 고급 훈련 기법과의 통합에 유망한 전망을 보였다.