[논문 리뷰] Using a thousand optimization tasks to learn hyperparameter search strategies

Luke Metz, Niru Maheswaranathan외 4명|arXiv (Cornell University)|2020. 02. 27.

Machine Learning and Data Classification참고 문헌 112인용 수 14

한 줄 요약

이 논문은 이미지 분류, 변동형 오토인코더, 노멀라이징 플로우, 언어 모델링을 포함한 다양한 분야의 딥러닝 최적화 작업을 포함하는 1,000개 이상의 작업으로 구성된 대규모이고 다양한 데이터셋인 TaskSet를 소개한다. 이 데이터셋에서 메타학습을 통해 순서가 지정된 하이퍼파ram터 탐색 목록을 학습함으로써, 무작위 탐색에 비해 상당한 샘플 효율성 향상을 달성하였으며, ImageNet과 LM1B와 같은 새로운 작업으로의 일반화 능력도 입증하였다. 또한 2,900만 개의 학습 곡선과 코드를 공개하여 재현 가능성을 확보하였다.

ABSTRACT

We present TaskSet, a dataset of tasks for use in training and evaluating optimizers. TaskSet is unique in its size and diversity, containing over a thousand tasks ranging from image classification with fully connected or convolutional neural networks, to variational autoencoders, to non-volume preserving flows on a variety of datasets. As an example application of such a dataset we explore meta-learning an ordered list of hyperparameters to try sequentially. By learning this hyperparameter list from data generated using TaskSet we achieve large speedups in sample efficiency over random search. Next we use the diversity of the TaskSet and our method for learning hyperparameter lists to empirically explore the generalization of these lists to new optimization tasks in a variety of settings including ImageNet classification with Resnet50 and LM1B language modeling with transformers. As part of this work we have opensourced code for all tasks, as well as ~29 million training curves for these problems and the corresponding hyperparameters.

연구 동기 및 목표

• 학습 및 평가를 위한 학습된 최적화 기법에 적합한 대규모, 다양한, 응용 분야에 관련된 최적화 데이터셋의 부족을 해결하기 위해.
• 딥러닝에서 하이퍼파ram터 튜닝의 높은 계산 비용과 환경적 영향을 줄이기 위해.
• 다양한 작업 간에 일반화 가능한 데이터 기반의 메타학습된 하이퍼파ram터 탐색 전략을 개발하기 위해.
• 최적의 하이퍼파ram터 구성 순서를 학습하여 더 효율적이고 샘플 효율적인 하이퍼파ram터 탐색을 가능하게 하기 위해.
• 미래의 연구를 가속화하기 위해 종합적인 벤치마크 데이터셋, 학습 곡선, 코드를 공개하기 위해.

제안 방법

• 다양한 아키텍처, 데이터셋, 하이퍼파ram터 구성이 포함된 딥러닝 최적화 작업 1,000개 이상을 포함하는 TaskSet라는 데이터셋을 구축한다.
• 작업을 데이터, 손실 함수, 모델 아키텍처가 포함된 완전한 학습 절차로 정의하며, 파ram터 수의 범위가 7개 오더의 만큼 다양하다.
• TaskSet 내 모든 작업에서 성능을 최대화하는 데 초점을 맞춘 순서가 지정된 하이퍼파ram터 목록을 메타학습한다.
• 고정된 하이퍼파라미터 구성 순서를 기반으로 한 탐색 전략을 사용하며, 이는 TaskSet를 기반으로 최적화를 통해 학습된다.
• 최적의 목록을 학습하기 위해 4,000개의 고유한 하이퍼파라미터 구성에 대해 약 2,900만 개의 모델을 학습한다.
• TensorFlow, JAX, PyTorch에서의 코드를 공개하며, 모든 학습 곡선과 하이퍼파라미터 로그도 공개하여 대중이 사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 하나의 학습된 하이퍼파라미터 탐색 목록이 다양한 딥러닝 작업에 일반화될 수 있는가?
• RQ2 메타학습된 하이퍼파라미터 순서는 샘플 효율성 측면에서 무작위 탐색에 비해 어떻게 비교되는가?
• RQ3 작은 작업에서 학습된 하이퍼파라미터 목록이 ImageNet과 LM1B와 같은 대규모 작업으로 일반화되는 정도는 어느 정도인가?
• RQ4 작업의 다양성과 규모가 학습된 최적화 전략의 성능와 내구성에 어떤 영향을 미치는가?
• RQ5 다른 최적화기 하이퍼파라미터(예: 초기 학습률, 가중치 감소)가 다양한 작업 간의 일반화에 기여하는 정도는 어떠한가?

주요 결과

• 메타학습된 하이퍼파라미터 목록은 무작위 탐색에 비해 샘플 효율성에서 상당한 향상을 보이며, 좋은 구성에 도달하기 위해 필요한 시행 수를 줄였다.
• 학습된 목록은 ResNet50의 ImageNet과 LM1B에서의 트랜스포머 기반 언어 모델링과 같은 새로운 대규모 작업으로 효과적으로 일반화된다.
• 유사한 아키텍처와 목표를 가진 작업들(예: VAE, RNN)은 임베딩 공간에서 군집을 이루며, 공통된 최적화 역학을 나타낸다.
• TaskSet의 다양성 덕분에 다양한 모델 유형과 데이터 분포 간에 내구성이 뛰어난 하이퍼파라미터 전략을 발견할 수 있었다.
• 2,900만 개의 학습 곡선과 하이퍼파라미터 로그의 공개는 향후 메타학습 및 하이퍼파라미터 분석을 위한 귀중한 자원이 되었다.
• 오픈소스 코드베이스 덕분에 학습된 하이퍼파라미터 목록을 새로운 모델과 프레임워크로 즉각적으로 구현할 수 있게 되었다.