[논문 리뷰] Efficient Hyperparameter Optimization in Deep Learning Using a Variable Length Genetic Algorithm

Xueli Xiao, Ming Yan외 3명|arXiv (Cornell University)|2020. 06. 23.

Machine Learning and Data Classification참고 문헌 25인용 수 80

한 줄 요약

이 논문은 CNN 하이퍼파라미터 최적화를 위해 모델 깊이가 단계적으로 증가하는 가변 길이 유전 알고리즘(GA)을 제시하고, 교차 및 가중치 이전을 사용하며, 고정 길이 GA, 무작위 탐색, 대규모 진화에 비해 시간/자원 제약 하에서 우수한 성능을 보임을 시연한다.

ABSTRACT

Convolutional Neural Networks (CNN) have gained great success in many artificial intelligence tasks. However, finding a good set of hyperparameters for a CNN remains a challenging task. It usually takes an expert with deep knowledge, and trials and errors. Genetic algorithms have been used in hyperparameter optimizations. However, traditional genetic algorithms with fixed-length chromosomes may not be a good fit for optimizing deep learning hyperparameters, because deep learning models have variable number of hyperparameters depending on the model depth. As the depth increases, the number of hyperparameters grows exponentially, and searching becomes exponentially harder. It is important to have an efficient algorithm that can find a good model in reasonable time. In this article, we propose to use a variable length genetic algorithm (GA) to systematically and automatically tune the hyperparameters of a CNN to improve its performance. Experimental results show that our algorithm can find good CNN hyperparameters efficiently. It is clear from our experiments that if more time is spent on optimizing the hyperparameters, better results could be achieved. Theoretically, if we had unlimited time and CPU power, we could find the optimized hyperparameters and achieve the best results in the future.

연구 동기 및 목표

• CNN 하이퍼파라parameter 최적화의 도전과 모델 깊이가 달라질 때 효율적인 탐색의 필요성에 대해 동기를 부여한다.
• CNN 깊이를 점진적으로 증가시키며 더 크고 비고정 하이퍼파라미터 공간을 탐색하는 가변 길이 GA를 제안한다.
• 실용적인 컴퓨팅 예산 내에서 방법이 성능이 높은 CNN 구성을 찾는다는 것을 보여준다.
• 유사한 시간/자원 제약 하에서 벤치마크 방법(무작위 탐색, 고정 길이 GA, 대규모 진화)과 비교한다.

제안 방법

• 투입이 가능한 단계마다 두 개의 합성곱 층으로 시작하고 점차적으로 층을 추가하는 가변 길이 GA를 사용한다.
• 각 단계마다 확장하는 염색체에 하이퍼파라미터를 인코딩하고, 더 깊은 모델로의 해결책을 전달한다.
• 교차 및 돌연변이를 적용하여 새로운 하이퍼파라미터 구성을 생성하고, 깊이를 확장할 때 이전 최적 모델로부터의 가중치 전달을 수행한다.
• 고정된 짧은 에포크 수(다섯 에포크)에서의 검증 정확도를 적합도 평가로 사용하여 계산 자원을 절약하고, 더 깊은 모델의 초기화를 위해 가중치를 전달한다.
• 각 Phase에서의 최적 모델을 수렴에 도달할 때까지 추가로 학습한다.
• 깊이를 더하는 것이 최적도에서 0.01 감소를 넘어 개선을 제공하지 않는 시점에서 탐색을 중지하도록 허용한다.

실험 결과

연구 질문

• RQ1 가변 길이 염색체 GA가 정의된 최대 깊이에 대한 사전 설정 없이도 CNN 하이퍼파라미터를 효과적으로 최적화할 수 있는가？
• RQ2 교차와 가중치 전달이 제한된 계산 자원 하에서 고성능 CNN 아키텍처를 더 효율적으로 발견하게 하는가？
• RQ3 유사한 시간 예산 하에서 가변 길이 GA는 무작위 탐색, 고정 길이 GA, 대규모 진화에 비해 어떤 성능을 보이는가？
• RQ4 깊은 아키텍처가 의미 있는 이익을 더 이상 제공하지 않을 때를 신뢰할 수 있게 나타내는 중지 조건은 무엇인가？

주요 결과

• 가변 길이 GA는 CIFAR-10에서 약 24.55시간 내에 88.92%의 테스트 정확도 모델을 발견했다.
• 깊이를 증가시킬 때 초기 이득이 빠르게 나타나고, 후반 단계에서 개선이 점차 완만해지는 경향을 보였다.
• 유사한 시간 제약 하에서 제안된 방법은 무작위 탐색(58.66%), 고전적 GA(80.75%), 대규모 진화(51.90%)보다 우수한 성능을 보였다.
• 전체 진화는 25시간 이내에 완료되었고, Phase 13의 최적 모델을 추가 학습을 위해 선정했다.
• 깊이가 확장되는 동안 가중치 전달은 학습 시간을 절약하고 더 깊은 아키텍처를 더 효율적으로 평가하도록 도왔다.