[논문 리뷰] Large-Scale Evolution of Image Classifiers

Esteban Real, Sherry Moore외 6명|arXiv (Cornell University)|2017. 03. 03.

Evolutionary Algorithms and Applications참고 문헌 39인용 수 544

한 줄 요약

본 논문은 간단하고 비 합성적 시작에서 시작하는 대 규모 신경진화가 CIFAR-10과 CIFAR-100에서 수동 설계 모델과 경쟁하는 완전 학습된 이미지 분류기를 낼 수 있음을 보여주며, CIFAR-10에서 94.6%의 테스트 정확도(앙상블 시 95.6%)를, CIFAR-100에서 77.0%를 달성한다.

ABSTRACT

Neural networks have proven effective at solving difficult problems but designing their architectures can be challenging, even for image classification problems alone. Our goal is to minimize human participation, so we employ evolutionary algorithms to discover such networks automatically. Despite significant computational requirements, we show that it is now possible to evolve models with accuracies within the range of those published in the last year. Specifically, we employ simple evolutionary techniques at unprecedented scales to discover models for the CIFAR-10 and CIFAR-100 datasets, starting from trivial initial conditions and reaching accuracies of 94.6% (95.6% for ensemble) and 77.0%, respectively. To do this, we use novel and intuitive mutation operators that navigate large search spaces; we stress that no human participation is required once evolution starts and that the output is a fully-trained model. Throughout this work, we place special emphasis on the repeatability of results, the variability in the outcomes and the computational requirements.

연구 동기 및 목표

• 이미지 분류를 위한 자동 아키텍처 발견을 동기화하여 인간 개입을 최소화한다.
• 단순한 진화적 과정이 대규모에서 고성능 컨볼루션망을 산출할 수 있음을 보여준다.
• 대규모 신경진화의 반복성, 변동성, 그리고 계산 요구사항을 입증한다.

제안 방법

• 1000개의 신경 아키텍처 인구를 대상으로 하는 대규모 병렬 비동기 진화 알고리즘과 토너먼트 선택을 사용한다.
• 아키텍처를 활성화 텐서의 연결된 컨볼루셔널 에지의 변화 가능한 그래프(DNA)로 인코딩한다.
• 삽입/제거되는 컨볼루션, 스트라이드, 채널, 필터 크기 변경, 스킵 연결 추가/제거 등과 같은 돌연 변이를 적용한다.
• 각 후보를 고정된 단계 수(25,600)로 SGD와 모멘텀으로 학습하고, 유효성 검증 정확도로 적합도(fitness)를 평가한다.
• 가중치 상속은 시퀀스의 형태가 일치하면 가중치를 재사용하도록 허용하여 제로에서 시작하지 않고도 완전히 학습된 자손을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단순하고 한 번의 진화 과정이 사소한 초기 조건에서 시작하여 수작업으로 설계된 모델과 경쟁하는 완전히 학습된 이미지 분류기를 생산할 수 있는가?
• RQ2 대규모 신경진화에서 개체당 훈련 단계 수와 인구 규모가 성능, 재현성, 지역 최적점 수렴에 어떤 영향을 미치는가?
• RQ3 알고리즘을 변경하지 않고 CIFAR-10에서 CIFAR-100에 적용했을 때 CIFAR-10의 진화가 가능한가?
• RQ4 접근 방식의 계산 비용과 확장성은 어떠하며 가중치 상속이 결과에 어떤 영향을 미치는가?
• RQ5 돌연 변이와 재조합이 지역 최적점을 탈출하고 아키텍처를 개선하는 데 어떤 역할을 하는가?

주요 결과

• 진화된 모델은 평균적으로 CIFAR-10 테스트 정확도 약 94.1%에 도달하며, 최고 모델은 94.6%, 앙상블 시 95.6%를 달성한다.
• CIFAR-100에서 진화된 단일 실험은 77.0%의 테스트 정확도를 달성한다.
• 다섯 차례의 대규모 실행에서 검증 정확도 기준으로 최상의 모델은 94.6%를 달성했고 표준편차는 0.4%였다.
• 다섯 개의 실험 전체 계산은 약 4×10^20 FLOPs였으며, 실험당 약 9×10^19 FLOPs였다.
• 가중치 상속은 높은 정확도를 달성하는 데 중요하며 이를 비활성화하면 성능이 저하된다.
• 개체당 인구 규모와 학습 단계를 늘리면 결과가 향상되고 지역 최적점 탈출에 도움이 된다.