[논문 리뷰] Recombination of Artificial Neural Networks

Aaron Vose, Jacob Balma외 6명|arXiv (Cornell University)|2019. 01. 12.

Machine Learning and Data Classification참고 문헌 22인용 수 4

한 줄 요약

이 논문은 딥 네ural 네트워크에서 하이퍼파라미터 최적화를 위한 새로운 유전 알고리즘(GA)을 제안하며, 두 부모가 하이퍼파라미터를 기여하고 하나의 부모가 모델 파라미터를 기여하는 삼부모 형식의 재생을 도입하고, 염색체 교잡과 하이퍼파라미터와 파라미터의 분리 기법을 함께 사용한다. 이 방법은 PBT와 GA를 결합함으로써 다양한 아키텍처인 CNN, RNN 및 캡슐 네트워크에서 수렴 속도를 가속화하고 최종 정확도를 향상시킨다. 이는 유해한 하이퍼파라미터 조합의 신속한 제거와 더 빠른 최적 영역 적응을 가능하게 한다.

ABSTRACT

We propose a genetic algorithm (GA) for hyperparameter optimization of artificial neural networks which includes chromosomal crossover as well as a decoupling of parameters (i.e., weights and biases) from hyperparameters (e.g., learning rate, weight decay, and dropout) during sexual reproduction. Children are produced from three parents; two contributing hyperparameters and one contributing the parameters. Our version of population-based training (PBT) combines traditional gradient-based approaches such as stochastic gradient descent (SGD) with our GA to optimize both parameters and hyperparameters across SGD epochs. Our improvements over traditional PBT provide an increased speed of adaptation and a greater ability to shed deleterious genes from the population. Our methods improve final accuracy as well as time to fixed accuracy on a wide range of deep neural network architectures including convolutional neural networks, recurrent neural networks, dense neural networks, and capsule networks.

연구 동기 및 목표

• 매우 넓은 검색 공간으로 인해 수동 조정이 비현실적인 딥 네ural 네트워크에서 하이퍼파라미터 최적화(HPO) 문제를 해결하기 위해.
• 교잡과 삼부모 유전을 통한 성적 재생을 도입함으로써 기존의 집단 기반 학습(PBT)을 향상시키기 위해.
• 해로운 하이퍼파라미터 설정의 제거와 최적 영역으로의 더 빠른 적응을 통해 검색 효율성과 수렴 속도를 향상시키기 위해.
• 더 나은 하이퍼파라미터 공간 탐색을 위해 PBT를 생물학적으로 유래한 기능인 딤크(demes)와 복수성(ploidy)을 통합한 완전한 유전 알고리즘으로 발전시키기 위해.

제안 방법

• 이 방법은 하이퍼파라미터(예: 학습률, 가중치 감쇠)를 모델 파라미터(가중치 및 편향)에서 분리하여 각각 별도의 유전 성분으로 간주하는 유전 알고리즘을 사용한다.
• 자식 개체는 세 부모로부터 유래한다: 두 부모가 교잡을 통해 하이퍼파라미터를 기여하고, 하나의 부모가 훈련된 모델 파라미터를 기여한다.
• 염색체 교잡은 하이퍼파라미터에만 적용되며, 유익한 유전자 조합의 재조합을 가능하게 하면서도 훈련된 네트워크 가중치의 무결성을 유지한다.
• SGD와 통합되어 GA 세대가 SGD 훈련 에포크와 병행하여 실행되며, 이로써 훈련 중 하이퍼파라미터의 동적 적응이 가능해진다.
• 디크(demes)는 이동이 제한된 고립된 하위집단으로 도입되어 조기 수렴을 방지하고 하이퍼파라미터 공간의 커버리지 향상을 도모한다.
• 복수성(ploidy)은 신경망 앙상블의 맥락에서 탐색되며, 서로 다른 부모로부터 유래한 다수의 하위망이 파라미터의 성적 재생을 가능하게 할 수 있지만, 현재 구현에서는 단일 복수성(하프로이드) 파라미터 유전 방식을 사용한다.

실험 결과

연구 질문

• RQ1 삼부모 형식의 재생과 교잡을 갖춘 유전 알고리즘이 기존의 전통적 PBT에 비해 딥 네럴 네트워크에서 하이퍼파라미터 최적화를 향상시킬 수 있는가?
• RQ2 하이퍼파라미터를 모델 파라미터에서 분리하는 것이 하이퍼파라미터 검색의 효율성과 효과성에 어떤 영향을 미치는가?
• RQ3 디크와 이동 전략을 도입함으로써 탐색 능력 향상과 국소 최적해에의 수렴 감소를 달성할 수 있는가?
• RQ4 하이퍼파라미터의 교잡이 다양한 아키텍처에서 수렴 속도 가속화와 최종 모델 정확도 향상에 얼마나 기여하는가?
• RQ5 PBT를 완전한 유전 알고리즘으로 통합함으로써 고정 정확도에 도달하는 데 걸리는 시간 단축과 더 높은 최종 정확도를 달성할 수 있는가?

주요 결과

• 제안된 GA는 기존의 기본 하이퍼파라미터 설정에 비해 다양한 딥 네럴 네트워크 아키텍처(예: 합성곱, 순환, 밀집, 캡슐 네트워크)에서 최종 정확도를 향상시킨다.
• 효과적인 재조합과 해로운 하이퍼파라미터 조합의 제거를 통해 더 빠른 적응을 가능하게 함으로써 고정 정확도에 도달하는 데 소요되는 시간을 감소시킨다.
• 교잡과 삼부모 형식의 상속을 통합함으로써 하이퍼파라미터 공간의 탐색 효율성이 향상되어 표준 PBT보다 더 나은 수렴 행동을 보였다.
• 통제된 이동 전략을 갖춘 딤크의 사용은 인구 다양성을 향상시키고, 열악한 해를 가진 해에의 조기 수렴 위험을 줄였다.
• 특히 동적 하이퍼파라미터 스케줄링에서 기울기 기반 학습과 진화적 탐색을 융합함으로써 기준 PBT 대비 성능 향상을 보였다.
• 앙상블을 통한 복수성의 초보적 탐색은 향후 모델 파라미터의 교잡을 가능하게 할 잠재력을 보여주었지만, 현재 구현에서는 파라미터를 단일 복수성으로 간주하고 재조합을 하지 않는 방식을 사용한다.