[논문 리뷰] Critical Hyper-Parameters: No Random, No Cry

Olivier Bousquet, Sylvain Gelly외 3명|arXiv (Cornell University)|2017. 06. 10.

Advanced Multi-Objective Optimization Algorithms참고 문헌 14인용 수 30

한 줄 요약

이 논문은 딥러닝에서 초파rameter 최적화를 위한 랜덤 탐색과 격자 탐색의 열등한 대안으로 무작위로 뒤섞인 하머슬리(S-H) 수열을 제안한다. 저분산 수열을 활용하여 초파arameter 공간을 균일하게 커버함으로써 S-H는 최적 설정을 찾는 데 필요한 시행 수를 줄이며, 한 번에 최적화하는 경우와 베이지안 최적화 설정 모두에서 랜덤 탐색과 라틴 하이퍼큐브 샘플링(LHS)을 능가한다. 특히 중간에서 큰 예산을 가진 경우에 뛰어난 성능을 보인다.

ABSTRACT

The selection of hyper-parameters is critical in Deep Learning. Because of the long training time of complex models and the availability of compute resources in the cloud, "one-shot" optimization schemes - where the sets of hyper-parameters are selected in advance (e.g. on a grid or in a random manner) and the training is executed in parallel - are commonly used. It is known that grid search is sub-optimal, especially when only a few critical parameters matter, and suggest to use random search instead. Yet, random search can be "unlucky" and produce sets of values that leave some part of the domain unexplored. Quasi-random methods, such as Low Discrepancy Sequences (LDS) avoid these issues. We show that such methods have theoretical properties that make them appealing for performing hyperparameter search, and demonstrate that, when applied to the selection of hyperparameters of complex Deep Learning models (such as state-of-the-art LSTM language models and image classification models), they yield suitable hyperparameters values with much fewer runs than random search. We propose a particularly simple LDS method which can be used as a drop-in replacement for grid or random search in any Deep Learning pipeline, both as a fully one-shot hyperparameter search or as an initializer in iterative batch optimization.

연구 동기 및 목표

• 랜덤 탐색이 불운한 추출으로 인해 중요한 영역을 놓칠 수 있고, 격자 탐색이 중복 평가로 자원을 낭비하는 등의 랜덤 탐색과 격자 탐색의 한계를 해결하기 위해.
• 딥러닝 모델의 한 번에 최적화 및 반복적 초파arameter 최적화에서 저분산 수열(LDS)의 이론적 및 실증적 성능을 평가하기 위해.
• 더 적은 평가 수로 초파arameter 공간을 더 잘 커버할 수 있는 강력한, 즉각 적용 가능한 랜덤 또는 격자 탐색의 대체 수단을 확보하기 위해.
• 베이지안 최적화 프레임워크에서 LDS가 초파arameter 최적화를 위한 초기화 방법으로 얼마나 효과적인지 평가하기 위해.
• 딥러닝 파ip라인에 LDS를 도입하기 위한 실용적이고 오픈소스 라이브러리 제공하기 위해.

제안 방법

• 논문은 저분산 수열(LDS)의 일종인 무작위로 뒤섞인 하머슬리(S-H) 수열을 사용하여 초파arameter 설정을 생성함으로써 검색 공간 전반에 걸쳐 균일하게 분포된 설정을 확보한다.
• 일회성 최적화를 비반복적 방법으로 정의하여 초파arameter 집합을 사전에 선택하고 병렬로 학습시키며, 최적화 오차를 성능 측정 기준으로 삼는다.
• 이론적 분석은 도메인 커버리지의 정도를 측정하기 위해 부피 분산과 확률적 분산을 중심으로 하며, 저분산 수열이 최대 미탐색 영역을 최소화함을 보여준다.
• 실증적 평가는 여러 벤치마크 함수와 딥러닝 모델에서 S-H를 랜덤 탐색, 라틴 하이퍼큐브 샘플링(LHS), 그리고 베이지안 최적화에서의 비관적 상상력(피미스틱 패러지징)과 비교한다.
• 이 방법은 일회성 탐색으로서의 독립적 적용과 배치 반복적 베이지안 최적화에서의 초기화자로의 적용을 모두 포함하며, 결과는 目표 함수 값의 비율로 보고된다.
• 저분산 수열의 강력한 변종인 무작위로 뒤섞인 하머슬리 수열에 무작위 이동을 추가한 방법을 도입하여, 소볼 또는 뒤섞이지 않은 할턴 수열과 같은 다른 LDS 변종의 단점을 피한다.

실험 결과

연구 질문

• RQ1 저분산 수열(LDS)이 딥러닝 초파arameter 최적화에서 평가 수를 줄이며 최적화 오차 측면에서 랜덤 탐색을 능가할 수 있는가?
• RQ2 오직 몇 개인 초파arameter가 모델 성능에 중요한 경우, LDS는 격자 탐색보다 어떻게 비교되는가?
• RQ3 반복적 베이지안 최적화에서 LDS는 효과적인 초기화 방법이 될 수 있는가? 특히 랜덤 또는 LHS 샘플링과 비교할 때 어떻게 되는가?
• RQ4 LDS 변종의 선택이 성능에 상당한 영향을 미치는가? 어떤 것이 다양한 설정에서 가장 강력한가?
• RQ5 파라미터 순위 매기기가 LDS 성능에 어떤 영향을 미치는가? 특히 일부 초파arameter가 다른 것들보다 더 영향력이 클 경우 어떻게 되는가?

주요 결과

• 무작위로 뒤섞인 하머슬리(S-H) 수열은 일회성 초파arameter 최적화에서 랜덤 탐색과 LHS를 일관되게 능가하며, 최적 설정을 찾는 데 필요한 시행 수를 줄인다.
• 충분한 표본 수가 확보된 경우 S-H는 ε 거리 이내의 전역 최적해를 100% 성공률로 찾을 수 있으며, 랜덤 탐색은 불운한 추출으로 실패할 수 있다.
• 베이지안 최적화에서 S-H로 초기화된 방법은 랜덤 및 LHS 초기화보다 성능이 뛰어나며, 특히 고차원 및 중간 예산에서 엔트로피 검색 및 비관적 상상력과도 동등하거나 이를 초월한다.
• 작은 예산(예: <10)의 경우 LHS가 S-H를 능가할 수 있지만, 대부분의 실용적 설정(예: 예산 ≥10)에서는 S-H가 여전히 슈퍼리어하다.
• 저분산 수열의 이론적 수렴 속도는 고신뢰도 분위수에서 랜덤 탐색보다 엄격히 빠르며, S-H는 열악한 초파arameter 순위 매기기에도 강건하다.
• 연구는 일반적으로 오직 몇 개인 초파arameter만이 핵심임을 확인하였으며, LDS는 중복 평가를 최소화함으로써 이를 효율적으로 탐색한다.