[논문 리뷰] Grid Search, Random Search, Genetic Algorithm: A Big Comparison for NAS

Petro Liashchynskyi, Pavlo B. Liashchynskyi|arXiv (Cornell University)|2019. 12. 12.

Machine Learning and Data Classification참고 문헌 13인용 수 559

한 줄 요약

이 논문은 CIFAR-10에서 NAS를 위한 그리드 탐색, 무작위 탐색, 유전 알고리즘을 비교하고, 각 탐색 전략에 따른 학습 시간과 모델 정확도를 보고한다.

ABSTRACT

In this paper, we compare the three most popular algorithms for hyperparameter optimization (Grid Search, Random Search, and Genetic Algorithm) and attempt to use them for neural architecture search (NAS). We use these algorithms for building a convolutional neural network (search architecture). Experimental results on CIFAR-10 dataset further demonstrate the performance difference between compared algorithms. The comparison results are based on the execution time of the above algorithms and accuracy of the proposed models.

연구 동기 및 목표

• NAS를 위한 Auto-ML 프레임워크의 대안으로 고전적 하이퍼파라미터 최적화 알고리즘의 활용을 제안한다.
• 다양한 최적화 전략을 평가하기 위해 CNN 아키텍처에 제약된 탐색 공간을 정의한다.
• NAS에서 그리드 검색, 무작위 검색, 유전 알고리즘의 런타임 및 정확도를 평가하고 비교한다.
• 탐색 공간의 크기와 시간 제약에 따라 어떤 알고리즘을 선택할지에 대한 실용적인 지침을 제공한다.

제안 방법

• 기본 CNN 아키텍처를 정의하고 합성곱 셀(conv)과 밀집 셀(dense)을 추가하여 탐색 공간을 형성한다.
• 정의된 공간에서 아키텍처를 발견하기 위해 세 가지 최적화 전략(Grid Search, Random Search, Genetic Algorithm)을 적용한다.
• 표준 전처리, He 초기화, Adamax 옵티마이저, L2 정규화, 드롭아웃, 배치 정규화를 사용하여 CIFAR-10의 후보 아키텍처를 학습시킨다.
• 고정 에폭 수에서 Nvidia Tesla K80 GPU로 각 후보 아키텍처의 성능(정확도)과 학습 시간을 측정한다.
• Grid/Search의 경우 합성곱(conv) 및 밀집(dense) 셀의 조합을 열거하고; Random Search의 경우 정의된 경계 내에서 구성을 샘플링하며; GA의 경우 conv/dense 개수를게 게놈으로 인코딩한 아키텍처 개체군을 진화시킨다.

실험 결과

연구 질문

• RQ1 Grid Search, Random Search, Genetic Algorithm 중 NAS에서 테스트된 탐색 공간에서 더 높은 정확도를 내는 방법은 어디인가?
• RQ2 경쟁력 있는 아키텍처에 도달하는 데 필요한 총 학습 시간 면에서 알고리즘은 어떻게 비교되는가?
• RQ3 NAS에서 탐색 폭과 계산 비용 사이의 트레이드오프는 각 방법에서 어떻게 나타나는가?

주요 결과

모델 파라미터	평가 중	Conv 셀	Dense 셀	크기	정확도 (%)	점수
0	1	4.2M	75 ± 0.3	0.72
0	2	4.4M	77 ± 0.2	0.74
2	1	0.58M	82	0.57
2	2	0.84M	83 ± 0.4	0.57
3	1	0.23M	81.6	0.6
3	2	0.49M	81.8	0.61
4	1	0.16M	80.9	0.65
4	2	0.43M	80.1	0.66

• Grid Search는 2개의 합성곱 셀과 2개의 밀집 셀로 구성된 구성에서 약 83%의 정확도로 최고의 정확도를 냈다.
• Random Search는 전체 시간 측면에서 Grid Search보다 짧은 시간에 더 높은 정확도(최대 약 86%)를 달성할 수 있지만 안정화하려면 더 많은 실행이 필요할 수 있다.
• Genetic Algorithm은 또한 약 86%의 정확도에 도달하며 더 긴 런타임(~4.13시간)을 필요로 하고 Random Search와 비교해도 상위 모델을 제공한다.
• 전반적으로 대규모 탐색 공간에서는 Grid Search가 느리며, Random Search와 GA는 더 빠르거나 확장 가능한 옵션을 제공하고, 매우 큰 공간에서는 GA가 유리할 수 있다.
• 본 연구는 알고리즘 선택은 탐색 공간의 크기와 시간 제약에 달려 있으며, 공간이 크고 전수 탐색이 비현실적인 경우 GA가 자주 유리하다고 결론짓는다.