[논문 리뷰] BGADAM: Boosting based Genetic-Evolutionary ADAM for Convolutional Neural Network Optimization.

Jiyang Bai, Jiawei Zhang|arXiv (Cornell University)|2019. 07. 26.

Advanced Neural Network Applications참고 문헌 14인용 수 5

한 줄 요약

이 논문은 비볼록 딥러닝 문제에서 국소 최적점에서 갇히는 것을 방지하기 위해 단위 모델 학습에 부스팅을 통합함으로써 GADAM 프레임워크를 향상시킨 새로운 최적화 알고리즘 BGADAM을 제안한다. 적응형 학습률, 모멘타임, 유전적 진화, 부스팅을 결합함으로써 BGADAM은 컨volutional 네트워크에서 더 빠른 수렴과 향상된 일반화 성능을 달성한다.

ABSTRACT

Among various optimization algorithms, ADAM can achieve outstanding performance and has been widely used in model learning. ADAM has the advantages of fast convergence with both momentum and adaptive learning rate. For deep neural network learning problems, since their objective functions are nonconvex, ADAM can also get stuck in local optima easily. To resolve such a problem, the genetic evolutionary ADAM (GADAM) algorithm, which combines the ADAM and genetic algorithm, was introduced in recent years. To further maximize the advantages of the GADAM model, we propose to implement the boosting strategy for unit model training in GADAM. In this paper, we introduce a novel optimization algorithm, namely Boosting based GADAM (BGADAM). We will show that after adding the boosting strategy to the GADAM model, it can help unit models jump out the local optima and converge to better solutions.

연구 동기 및 목표

• 비볼록 딥러닝 최적화 과정에서 ADAM이 국소 최적점에 갇히는 문제를 해결하기 위해.
• 단위 모델 학습과 해의 품질을 향상시키기 위해 부스팅 전략을 도입함으로써 GADAM을 개선하기 위해.
• 적응형 학습률, 모멘타임, 유전적 진화, 앙상블 학습을 결합한 하이브리드 최적화 프레임워크를 개발하기 위해.
• 부스팅을 활용해 개별 모델을 정밀하게 보완함으로써 컨volutional 네트워크에서 더 깊고 더 견고한 수렴을 가능하게 하기 위해.

제안 방법

• GADAM 프레임워크에 부스팅을 통합하여 반복적으로 개별 모델을 학습하고 개선함으로써 국소 최적점에서 벗어나는 능력을 향상시키기 위해.
• 유전 알고리즘 원리를 적용하여 GADAM 구성 요소에서 초모수를 진화시키고 모델 가중치를 업데이트함으로써 다양성과 적응성을 확보하기 위해.
• ADAM의 적응형 학습률과 모멘타임을 진화적 탐색과 조합하여 탐색과 이용의 균형을 이루기 위해.
• 앙상블 학습을 통해 다수의 단위 모델 예측을 집계하여 전체 최적화의 안정성과 성능을 향상시키기 위해.
• 각 부스팅 단계에서 어려운 예시에 초점을 맞추기 위해 오차 가중 학습 샘플을 사용하여 모델를 정밀하게 보완하는 학습 파이프라인 설계하기 위해.
• 손실 감소를 기반으로 한 적합도 평가에 따라 선택, 교차, 변이를 통해 진화하는 후보 모델 집단을 유지하기 위해.

실험 결과

연구 질문

• RQ1 부스팅이 비볼록 최적화 과정에서 GADAM의 국소 최적점에서 벗어나는 능력을 향상시키는가?
• RQ2 부스팅의 통합이 CNN 학습에서 수렴 속도와 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ3 하이브리드 BGADAM 프레임워크가 일반화 및 견고성 측면에서 표준 ADAM과 GADAM보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 부스팅의 앙상블 특성은 딥러닝 최적화에서 해의 안정성과 다양성에 기여하는가?

주요 결과

• BGADAM은 GADAM이나 ADAM보다 단위 모델이 국소 최적점에서 더 효과적으로 벗어나는 데 기여함으로써 개선된 수렴 행동을 보여준다.
• 부스팅의 통합은 GADAM 프레임워크 내 개별 모델의 다양성과 성능을 향상시킨다.
• 기본 ADAM 대비 BGADAM은 컨volutional 네트워크 학습에서 더 빠른 수렴과 향상된 일반화 성능을 달성한다.
• 제안된 방법은 ADAM의 적응형 학습률과 모멘타임의 장점을 유지하면서도 진화적 및 앙상블 학습의 이점을 추가한다.