[논문 리뷰] GADAM: Genetic-Evolutionary ADAM for Deep Neural Network Optimization

Jiawei Zhang, Fisher B. Gouza|arXiv (Cornell University)|2018. 05. 19.

Advanced Neural Network Applications참고 문헌 31인용 수 25

한 줄 요약

GADAM은 딥 네ural 네트워크를 더 효과적이고 효율적으로 훈련하기 위해 Adam과 유전 알고리즘을 결합한 새로운 최적화 알고리즘을 제안한다. Adam을 사용해 모델 집단을 훈련하고, 유전적 연산을 통해 선택 및 돌연변이를 적용함으로써 국소 최적점에서 벗어나 빠른 수렴 속도와 뛰어난 성능을 달성한다. 다양한 벤치마크에서 검증되었다.

ABSTRACT

Deep neural network learning can be formulated as a non-convex optimization problem. Existing optimization algorithms, e.g., Adam, can learn the models fast, but may get stuck in local optima easily. In this paper, we introduce a novel optimization algorithm, namely GADAM (Genetic-Evolutionary Adam). GADAM learns deep neural network models based on a number of unit models generations by generations: it trains the unit models with Adam, and evolves them to the new generations with genetic algorithm. We will show that GADAM can effectively jump out of the local optima in the learning process to obtain better solutions, and prove that GADAM can also achieve a very fast convergence. Extensive experiments have been done on various benchmark datasets, and the learning results will demonstrate the effectiveness and efficiency of the GADAM algorithm.

연구 동기 및 목표

• 비볼록 딥 러닝 최적화 과정에서 Adam이 국소 최적점에 갇히는 한계를 해결한다.
• Adam의 빠른 수렴 특성과 유전 알고리즘의 전역 탐색 능력을 활용해 최적화의 강건성을 향상시킨다.
• 집단 기반의 진화적 프레임워크를 통해 딥 러닝 훈련의 효율적이고 병렬/분산 배포를 가능하게 한다.
• 다양한 데이터셋에서 Adam 및 기타 기준 최적화 방법과 비교해 뛰어난 성능과 수렴 속도를 입증한다.

제안 방법

• 각 세대에서 유닛 모델 집단을 Adam 최적화 알고리즘을 사용해 훈련한다.
• 선택, 교배, 돌연변이와 같은 유전 알고리즘 연산자를 통해 집단을 세대에 걸쳐 진화시킨다.
• 모델 성능(예: 검증 정확도)을 적합도 함수로 사용해 우수한 성능을 보이는 모델을 복제 대상으로 선별한다.
• 고정된 집단 크기를 유지하고, 유전적 연산을 통해 생성된 자식 모델로 성능이 열 劣한 모델을 순차적으로 교체한다.
• 세대 간 진화와 세대 내 계산을 분리함으로써 독립형 및 병렬/분산 실행을 모두 지원한다.
• 각 모델의 훈련 단계에서 Adam의 적응형 학습률 및 동량 항목을 통합해 개별 모델의 수렴 속도를 보장한다.

실험 결과

연구 질문

• RQ1 Adam과 유전 알고리즘을 융합한 하이브리드 접근 방식이 딥 네럴 네트워크 최적화 성능을 향상시킬 수 있는가?
• RQ2 GADAM 프레임워크가 비볼록 손실 곡면에서 흔히 발생하는 Adam의 국소 최적점 갇힘 문제를 효과적으로 회피하는가?
• RQ3 다양한 데이터셋에서 GADAM의 수렴 속도와 최종 모델 정확도는 Adam 및 기타 기준 방법과 비교해 어떻게 되는가?
• RQ4 GADAM은 병렬 및 분산 컴퓨팅 환경에서 얼마나 효율적으로 확장 가능한가?
• RQ5 집단 크기가 GADAM의 모델 진화 동역학과 자식 모델 수용 비율에 어떤 영향을 미치는가?

주요 결과

• LeNet-5를 사용한 MNIST 데이터셋에서 GADAM은 테스트 정확도 99.40%를 달성하여 Adam(99.10%) 및 기타 기준보다 뛰어났다.
• ORL 얼굴 인식 데이터셋에서 GADAM은 1인당 9장의 이미지를 사용해 100.00% 정확도를 기록했으며, Adam(98.50%)과 gcForest(97.50%)를 모두 초월했다.
• LETTER 데이터셋에서 GADAM은 MLP를 사용해 96.90%의 정확도를 달성했으며, gcForest(97.40%)에 비해 略로 떨어졌지만 SVM 및 kNN에 비해 뚜렷하게 뛰어났다.
• 효율성 분석 결과, GADAM의 훈련 시간은 스레드 수가 1에서 10으로 증가함에 따라 지속적으로 감소하여 뛀출한 병렬 확장성(스케일러빌리티)을 입증했다.
• 자식 모델 수용 비율은 초기 세대에서 높아 효과적인 탐색을 보였지만, 고성능 부모 모델이 지배함에 따라 시간이 지남에 따라 감소했다.
• 유전 알고리즘 구성 요소의 전역 탐색 메커니즘이 기여하여 GADAM은 노이즈가 많은 데이터와 부드럽지 않은 손실 함수에 대해 뛰어난 강건성을 보였다.