[논문 리뷰] Evolving Deep Neural Networks

Risto Miikkulainen, Jason Liang외 9명|arXiv (Cornell University)|2017. 03. 01.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 깊이 있는 신경망의 아키텍처, 구성 요소, 하이퍼파라미터를 동시에 최적화하여 고성능 아키텍처를 자동으로 발견하는 진화 알고리즘 CoDeepNEAT를 제안한다. 이미지 인식 및 언어 모델링 분야에서 최신 수준의 수작업 설계 모델과 유사한 성능을 달성하였으며, 실세계의 매거진 웹사이트에서 자동 이미지 캡션 생성을 성공적으로 구현하였다.

ABSTRACT

The success of deep learning depends on finding an architecture to fit the task. As deep learning has scaled up to more challenging tasks, the architectures have become difficult to design by hand. This paper proposes an automated method, CoDeepNEAT, for optimizing deep learning architectures through evolution. By extending existing neuroevolution methods to topology, components, and hyperparameters, this method achieves results comparable to best human designs in standard benchmarks in object recognition and language modeling. It also supports building a real-world application of automated image captioning on a magazine website. Given the anticipated increases in available computing power, evolution of deep networks is promising approach to constructing deep learning applications in the future.

연구 동기 및 목표

• 수작업으로 설계하기 어려운 점점 더 복잡해지는 딥러닝 아키텍처의 문제를 해결하기 위해.
• 딥러닝 신경망의 아키텍처, 구성 요소, 하이퍼파라미터를 동시에 최적화하는 자동화된 방법을 개발하기 위해.
• 진화 최적화가 표준 벤치마크에서 수작업 설계 모델과 경쟁 가능한 아키텍처를 생성할 수 있음을 입증하기 위해.
• 실세계 응용 분야에 진화된 모델을 실질적으로 구현할 수 있도록 하기 위해.

제안 방법

• NEAT 신경진화 알고리즘을 확장하여 네트워크 아키텍처, 구성 요소 유형(예: 합성곱, LSTM) 및 하이퍼파라미터를 동시에 공진화한다.
• 검증 세트의 정확도를 직접 측정하는 대신, 경사 하강법을 통한 학습 성능 기반의 적합도 평가를 사용한다.
• 진화 과정 중에 네트워크를 학습하고 평가하여 선택을 이끄는 다단계 진화 과정을 구현한다.
• 아키텍처 구성 요소와 그 설정을 포함한 완전한 DNN 파이프라인의 엔드 투 엔드 진화를 지원한다.
• 수천 개의 네트워크를 동시에 학습할 수 있도록 분산 컴퓨팅 인프라를 활용하여 스케일링을 구현한다.
• 진화 루프 내부에 기울기 기반 학습을 통합하여 진화된 아키텍처가 학습 가능하고 효과적인지 보장한다.

실험 결과

연구 질문

• RQ1 진화 알고리즘이 깊이 있는 신경망의 아키텍처, 구성 요소, 하이퍼파라미터를 동시에 최적화하여 수작업 설계 모델과 동등하거나 슈퍼어리어블한 성능을 낼 수 있는가?
• RQ2 표준 벤치마크인 이미지 분류 및 언어 모델링에서 진화 기반 아키텍처 검색의 효과성은 어떠한가?
• RQ3 진화된 깊이 있는 신경망이 이미지 캡션과 같은 실세계 응용 분야에 성공적으로 구현될 수 있는가?
• RQ4 계산 능력의 증가가 진화된 아키텍처의 성능에 어느 정도 영향을 미치는가?

주요 결과

• 진화된 모델은 MSCOCO 데이터셋에서 BLEU-4 스코어 29.1을 기록하여 수작업 설계 기준 모델의 27.7을 초월하였다.
• 진화된 모델은 CIDEr 지표에서 88.0을 기록하여 기준 모델의 85.5를 넘어서 캡션 품질 향상을 시사하였다.
• 매거진 웹사이트에서의 수동 평가 결과, 진화된 모델은 상징적 이미지에 대해 평균 3.0/4.0, 전체 이미지에 대해 2.0/4.0의 점수를 기록하여 실용적 타당성을 입증하였다.
• 아키텍처 선택 과정에서 인간의 간섭 없이도 최신 수준의 수작업 설계 모델과 경쟁 가능한 아키텍처를 발견하였다.
• 평가 과정에서 부분적 학습이 이루어지기 때문에 진화 최적화는 빠르게 학습되는 모델을 선호하는 경향이 있어, 정확도를 초월한 다목적 최적화의 잠재력이 있다.
• 계산 능력이 증가할수록 이 방법은 수작업 설계 모델을 능가할 것으로 기대되며, 딥러닝의 광범위한 적용을 가능하게 할 것이다.