[논문 리뷰] Open Loop Hyperparameter Optimization and Determinantal Point Processes

Jesse Dodge, Kevin Jamieson외 1명|arXiv (Cornell University)|2017. 06. 06.

Advanced Multi-Objective Optimization Algorithms참고 문헌 25인용 수 3

한 줄 요약

이 논문은 개방형 하이퍼파rameter 최적화를 위해 k-결정행렬점과정(k-DPPs)을 사용하여 균일한 랜덤 탐색에 비해 하이퍼파ram터 샘플링의 다양성을 향상시키는 것을 제안한다. 새로운 메트로폴리스-해닝스 알고리즘을 활용해 k-DPPs를 혼합 이산-연속 및 구조화된 검색 공간에 적응시켜, 균일한 샘플링과 비교해 뛰어난 성능을 달성하였으며, 벽시계 시간이 크게 줄어든 상태에서 순차적 베이지안 최적화조차도 성능에서 앞서는 결과를 보였다.

ABSTRACT

Driven by the need for parallelizable hyperparameter optimization methods, this paper studies \emph{open loop} search methods: sequences that are predetermined and can be generated before a single configuration is evaluated. Examples include grid search, uniform random search, low discrepancy sequences, and other sampling distributions. In particular, we propose the use of $k$-determinantal point processes in hyperparameter optimization via random search. Compared to conventional uniform random search where hyperparameter settings are sampled independently, a $k$-DPP promotes diversity. We describe an approach that transforms hyperparameter search spaces for efficient use with a $k$-DPP. In addition, we introduce a novel Metropolis-Hastings algorithm which can sample from $k$-DPPs defined over any space from which uniform samples can be drawn, including spaces with a mixture of discrete and continuous dimensions or tree structure. Our experiments show significant benefits in realistic scenarios with a limited budget for training supervised learners, whether in serial or parallel.

연구 동기 및 목표

• 균일한 랜덤 탐색의 비효율성을 해결하기 위해 샘플링된 구성의 다양성을 증진시키는 것.
• 수렴성과 성능 향상을 위해 피드백 의존성이 없고 병렬 처리 가능한 비i.i.d. 샘플링을 가능하게 하는 개방형 하이퍼파arameter 최적화를 제공하는 것.
• 혼합 이산-연속 및 트리 구조적 차원을 포함한 복잡한 검색 공간에 대한 일반 목적의 k-DPPs 샘플링 방법을 개발하는 것.
• 실제 환경에서 최첨단 순차적 베이지안 최적화를 능가하는 다양성 기반의 개방형 방법이 가능함을 보여주는 것.

제안 방법

• 개방형 하이퍼파arameter 최적화에서 독립적인 균일 샘플링의 대체로 k-결정행렬점과정(k-DPPs)을 제안하여 다양성을 촉진한다.
• 임의의 공간, 특히 혼합 이산-연속 및 트리 구조적 검색 공간에서 k-DPPs로부터 샘플링할 수 있도록 하는 새로운 메트로폴리스-해닝스 알고리즘을 도입한다.
• 이질적인 차원 간의 효과적인 다양성 증진을 보장하기 위해 하이퍼파arameter 검색 공간을 k-DPPs에 적합하도록 변환한다.
• 반경 기반 함수 커널을 사용한 커널 기반의 k-DPP(k-DPP-RBF)를 도입하여 하이퍼파arameter 구성 간의 유사도를 모델링한다.
• 복잡한 검색 공간을 k-DPP 샘플링에 적합한 형태로 변환하면서도 다양성 특성을 유지하는 변환 기반 접근법을 사용한다.
• 모든 구성이 사전에 지정된 순차적 평가 프레임워크를 활용하여 완전한 병렬 처리를 가능하게 하고 피드백 의존성을 제거한다.

실험 결과

연구 질문

• RQ1 k-DPP 기반 샘플링은 합성 및 실제 세계 설정 모두에서 균일한 랜덤 탐색에 비해 하이퍼파arameter 최적화 성능을 향상시킬 수 있는가?
• RQ2 제한된 평가 예산 하에서 하이퍼파arameter 샘플링의 다양성은 수렴 속도와 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ3 k-DPPs는 정확도와 벽시계 시간 측면에서 Spearmint과 같은 순차적 베이지안 최적화 방법보다 어느 정도 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 k-DPPs는 이산, 연속, 트리 구조적 구성 요소를 포함한 혼합 차원 및 구조화된 하이퍼파arameter 공간에 효과적으로 적용될 수 있는가?
• RQ5 다양성 증진을 통한 개방형 탐색은 적응형 닫힌 루프 방법에 비해 局부 최적해에 갇힐 위험을 줄이는가?

주요 결과

• k-DPP-RBF 샘플링은 모든 테스트된 하이퍼파arameter 검색 공간에서 최고의 모델 정확도 측면에서 균일한 랜덤 탐색과 소볼 수열보다 뚜렷이 뛰어난 성능을 보였다.
• ‘안정적(Stable)’ 검색 공간에서 k-DPP-RBF는 k=20일 때 평균 최고 정확도 82.61%를 기록했으며, 배치 형태의 Spearmint(82.65%)와 순차적 Spearmint(82.76%)를 능가했고, 벽시계 시간은 1/10에 불과했다.
• 순차적 베이지안 최적화(Spearmint)는 평균적으로 10배 이상 더 오랜 시간이 소요되었으며, k-DPP-RBF에 비해 정확도 향상 폭은 0.15%에 불과했다.
• k-DPP 방법은 합성 실험과 실제 세계 실험 모두에서 일관된 슈퍼리어티를 보였으며, 특히 영향력이 큰 하이퍼파arameter 영역에서 두드러졌다.
• 모든 하이퍼파aram터가 ‘안정적’ 범위 내에 있었음에도 불구하고 k-DPP-RBF는 다른 개방형 방법보다 뛰어난 성능을 보였으며, 이는 다양성이 잘 조절된 검색 공간에서도 성능 향상을 이끌 수 있음을 시사한다.
• 메트로폴리스-해닝스 알고리즘이 복잡한 검색 공간에서 효과적인 k-DPP 샘플링을 가능하게 하여, 이 방법의 일반성과 확장성에 대한 타당성을 입증했다.