[논문 리뷰] Learning to Transfer Initializations for Bayesian Hyperparameter Optimization.

Jungtaek Kim, Saehoon Kim외 1명|arXiv (Cornell University)|2017. 10. 17.

Machine Learning and Data Classification참고 문헌 13인용 수 3

한 줄 요약

이 논문은 유사한 데이터셋으로부터 성공적인 초파rameter 설정을 전이하여 베이지안 초파rameter 최적화의 속도를 높이는 메타학습 접근법을 제안한다. 유사한 데이터셋 간의 유사도를 학습하기 위해 시아모이즈 CNN-LSTM 네트워크를 사용하여 메타특징을 추출하고, 이로 인해 관련된 과거 설정을 초기화로 활용함으로써, 특히 이미지 분류를 위한 딥 리소지드 네트워크에서 새로운 데이터셋에 대한 검증 평가 횟수를 크게 감소시킨다.

ABSTRACT

Hyperparameter optimization undergoes extensive evaluations of validation errors in order to find the best configuration of hyperparameters. Bayesian optimization is now popular for hyperparameter optimization, since it reduces the number of validation error evaluations required. Suppose that we are given a collection of datasets on which hyperparameters are already tuned by either humans with domain expertise or extensive trials of cross-validation. When a model is applied to a new dataset, it is desirable to let Bayesian hyperparameter optimzation start from configurations that were successful on similar datasets. To this end, we construct a Siamese network with convolutional layers followed by bi-directional LSTM layers, to learn {\em meta-features} over datasets. Learned meta-features are used to select a few datasets that are similar to the new dataset, so that a set of configurations in similar datasets is adopted as initializations for Bayesian hyperparameter optimization. Experiments on image datasets demonstrate that our learned meta-features are useful in optimizing several hyperparameters in deep residual networks for image classification.

연구 동기 및 목표

• 새로운 데이터셋에 대한 베이지안 초파라미터 최적화에서 요구되는 검증 오차 평가 횟수를 줄이는 것.
• 유사한 데이터셋에서 이전에 튜닝된 초파라미터 설정을 효과적인 초기화로 활용하는 것.
• 초파라미터 튜닝에서 전이 학습을 위해 데이터셋 유사도를 포괄하는 의미 있는 메타특징을 학습하는 것.
• 데이터셋 유사도 기반으로 관련된 과거 설정을 선택하여 최적화 효율을 향상시키는 것.
• 딥 리소지드 네트워크를 사용한 이미지 분류 작업에서 제안된 방법의 효과성을 입증하는 것.

제안 방법

• 데이터셋으로부터 메타특징을 학습하기 위해 컨볼루션 및 양방향 LSTM 레이어를 갖춘 시아모이즈 신경망을 훈련한다.
• 메타특징을 데이터셋에서 추출하여 비교를 위한 그들 내재적 특성으로 표현한다.
• 학습된 메타특징을 사용해 새로운 데이터셋과 이전에 튜닝된 데이터셋 간의 유사도를 계산한다.
• 유사도가 높은 상위-k개의 데이터셋을 선별하여 이들에서 이전에 최적화된 초파라미터 설정을 검색한다.
• 검색된 설정을 새로운 데이터셋에서의 베이지안 최적화의 초기화로 사용한다.
• 재학습 없이도 데이터 효율적으로 초파라미터 지식을 다양한 데이터셋 간에 전이할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습된 메타특징이 새로운 목표 데이터셋과 유사한 데이터셋을 효과적으로 식별하여 초파라미터 전이를 가능하게 할 수 있는가?
• RQ2 유사한 데이터셋의 설정으로 베이지안 최적화를 초기화하면 요구되는 검증 평가 횟수가 감소하는가?
• RQ3 무작위 또는 비전이 기반 초기화 전략과 비교할 때 최적화 효율성 측면에서 제안된 방법은 어떻게 성능을 내는가?
• RQ4 딥 네트워크에서 유도된 메타특징이 다양한 이미지 분류 작업 간에 얼마나 일반화되는가?
• RQ5 딥 리소지드 네트워크와 같은 복잡한 모델에서 다수의 초파라미터에 대해 이 방법이 확장 가능한가?

주요 결과

• 제안된 방법은 새로운 데이터셋에 대한 초파라미터 최적화에서 요구되는 검증 오차 평가 횟수를 크게 감소시킨다.
• 시아모이즈 CNN-LSTM 아키텍처를 통해 학습된 메타특징이 데이터셋 유사도를 효과적으로 포착하여 관련 과거 설정의 정확한 검색을 가능하게 한다.
• 유사한 데이터셋의 설정으로 초기화할 경우, 랜덤 또는 기본 초기화보다 베이지안 최적화에서 더 빠른 수렴을 이룬다.
• 딥 리소지드 네트워크를 최적화할 때 여러 이미지 분류 데이터셋에서 일관된 성능 향상을 보였다.
• 메타러너에서 양방향 LSTM을 사용함으로써 데이터셋 표현의 장거리 의존성을 더 잘 모델링하여 전이 성능를 향상시켰다.