[논문 리뷰] Fast-DENSER++: Evolving Fully-Trained Deep Artificial Neural Networks

Filipe Assunção, Nuno Lourenço외 2명|arXiv (Cornell University)|2019. 05. 08.

Evolutionary Algorithms and Applications참고 문헌 19인용 수 6

한 줄 요약

Fast-DENSER++는 진화 과정 동안 개별 개체의 학습 시간을 동적으로 연장하는 개선된 신경진화 프레임워크로, 완전히 훈련된 딥 네ural 네트워크를 진화 후 즉시 배포할 수 있도록 한다. CIFAR-10에서 88.73%의 테스트 정확도를 달성하여 F-DENSER(86.91%)를 크게 앞서며, 진화 후 보정 학습이 필요 없게 된다.

ABSTRACT

This paper proposes a new extension to Deep Evolutionary Network Structured Evolution (DENSER), called Fast-DENSER++ (F-DENSER++). The vast majority of NeuroEvolution methods that optimise Deep Artificial Neural Networks (DANNs) only evaluate the candidate solutions for a fixed amount of epochs; this makes it difficult to effectively assess the learning strategy, and requires the best generated network to be further trained after evolution. F-DENSER++ enables the training time of the candidate solutions to grow continuously as necessary, i.e., in the initial generations the candidate solutions are trained for shorter times, and as generations proceed it is expected that longer training cycles enable better performances. Consequently, the models discovered by F-DENSER++ are fully-trained DANNs, and are ready for deployment after evolution, without the need for further training. The results demonstrate the ability of F-DENSER++ to effectively generate fully-trained DANNs; by the end of evolution, whilst the average performance of the models generated by F-DENSER++ is of 88.73%, the performance of the models generated by the previous version of DENSER (Fast-DENSER) is 86.91% (statistically significant), which increases to 87.76% when allowed to train for longer.

연구 동기 및 목표

• 고정된 학습 시간으로 인해 네트워크 평가가 비최적화되며, 진화 후 보정 학습이 필요해지는 신경진화 기반 접근의 한계를 해결한다.
• 진화 최적화 후 즉시 생산 환경에 배포 가능한 완전히 훈련된 딥 네럴 네트워크(DANN)의 진화를 가능하게 한다.
• 진화 과정 중에 수렴할 수 있도록 충분한 학습 기간을 확보함으로써, 진화된 학습 전략의 평가를 향상시킨다.
• 개별 개체의 학습 시간이 연장됨에도 불구하고 전체 계산 오버헤드를 최소화하여 높은 효율성을 유지한다.
• 진화 후 추가 학습 없이도, 진화된 모델이 표준 및 연장된 학습 기반 모델을 초월할 수 있음을 입증한다.

제안 방법

• 진화 세대 번호에 따라 증가하는 학습 시간 스케줄링 메커니즘을 도입하여, 개별 개체의 학습 시간을 동적으로 할당한다.
• Fast-DENSER 프레임워크를 개선하여 후행 세대의 개체에 더 많은 학습 시간을 할당하는 시간 적응형 평가 전략을 통합한다.
• 구성 가능한 레이어, 활성화 함수, 학습 알고리즘을 지원하는 문법 기반의 신경망 아키텍처 표현 방식을 사용한다.
• 튜너블 하이퍼파라미터(예: 학습률, 모멘텀)를 가진 여러 최적화 알고리즘(예: Adam, RMSProp, SGD)을 진화 표현 내에 통합한다.
• 과적합을 방지하면서도 진화 학습 단계에서 수렴을 보장하기 위해 조기 정지 기법을 적용한다.
• 진화 계산을 통해 네트워크 구조와 학습 전략을 동시에 진화시키며, 검증 정확도를 기반으로 적합도를 평가한다.

실험 결과

연구 질문

• RQ1 신경진화 프레임워크가 개별 개체의 학습 시간을 동적으로 할당함으로써, 진화 후 보정 학습 없이도 최종 모델 성능을 향상시킬 수 있는가?
• RQ2 진화 세대에 따라 증가하는 학습 시간으로 네트워크를 진화시키면 고정된 학습 시간 기반의 학습보다 더 우수한 일반화 성능을 달성할 수 있는가?
• RQ3 F-DENSER++에서 진화된 학습 전략은 동일한 모델에 적용했을 때 표준 학습 기반 모델을 초월할 수 있는가?
• RQ4 F-DENSER++의 성능 향상은 F-DENSER 및 DENSER와 비교해 통계적으로 유의미한가?
• RQ5 F-DENSER++의 동적 학습 전략은 진화 후 재학습이 필요한 양을 줄이며, 동시에 모델 정확도를 유지하거나 향상시키는가?

주요 결과

• F-DENSER++는 CIFAR-10에서 88.73%의 테스트 정확도를 달성하여 F-DENSER의 86.91%를 유의미하게 뛰어넘었으며(p = 0.03156), 효과 크기가 크다.
• F-DENSER 네트워크를 수렴할 때까지 재학습한 결과, 평균 테스트 정확도(87.76%)가 여전히 F-DENSER++의 진화 성능 이하에 머물렀다.
• F-DENSER++의 중앙값 성능은 F-DENSER보다 약 1% 높았으며, 이는 약 100개 더 정확하게 분류된 테스트 인스턴스에 해당한다.
• F-DENSER++는 진화 과정 중에 모델을 완전히 훈련시킴으로써 진화 후 재학습이 필요 없게 되어, 신경진화 파이프라인의 주요 병목 현상을 제거했다.
• 세대당 평균 학습 시간은 0.73시간에서 1.13시간으로 증가했지만, 여전히 DENSER의 10.83시간/세대 이하로 유지되어 높은 효율성을 보였다.
• 통계 분석을 통해 F-DENSER++의 진화 성능가 F-DENSER의 성능보다 유의미하게 뛰어나며, p-값은 0.05 이하이며 효과 크기가 크다는 것이 확인되었다.