[논문 리뷰] A Quantile-based Approach for Hyperparameter Transfer Learning

David Salinas, Huibin Shen외 1명|arXiv (Cornell University)|2019. 09. 30.

Machine Learning and Data Classification인용 수 14

한 줄 요약

이 논문은 이질적인 척도와 노이즈를 갖는 작업 간의 초파rameter 최적화를 위해 반응형 초파라미터 기반 전이 학습 방법을 제안한다. 반응형 초파라미터-목표 반응형 분포를 모델링함으로써, 톰슨 샘플링과 가우시안 커퍼라 프로세스를 통해 강건한 전이 학습을 가능하게 하며, 초파라미터 튜닝 및 신경망 아키텍처 탐색을 포함한 다목적 시나리오(지연과 정확도 간의 트레이드오프 포함)에서 최신 기술을 크게 능가한다.

ABSTRACT

Bayesian optimization (BO) is a popular methodology to tune the hyperparameters of expensive black-box functions. Traditionally, BO focuses on a single task at a time and is not designed to leverage information from related functions, such as tuning performance objectives of the same algorithm across multiple datasets. In this work, we introduce a novel approach to achieve transfer learning across different \emph{datasets} as well as different \emph{objectives}. The main idea is to regress the mapping from hyperparameter to objective quantiles with a semi-parametric Gaussian Copula distribution, which provides robustness against different scales or outliers that can occur in different tasks. We introduce two methods to leverage this mapping: a Thompson sampling strategy as well as a Gaussian Copula process using such quantile estimate as a prior. We show that these strategies can combine the estimation of multiple objectives such as latency and accuracy, steering the hyperparameters optimization toward faster predictions for the same level of accuracy. Extensive experiments demonstrate significant improvements over state-of-the-art methods for both hyperparameter optimization and neural architecture search.

연구 동기 및 목표

• 초파라미터 최적화에서 서로 다른 척도와 노이즈 수준을 갖는 머신러닝 작업 간 지식 전이의 과제를 해결하기 위해.
• 정규성 가정 없이 стрict한 표준화를 요구하지 않고도 관련 작업 간 이질적인 데이터 분포를 강건하게 처리할 수 있는 방법을 개발하기 위해.
• 정확도와 지연 등의 지표를 스칼라화된 커퍼라 목표로 조합하여 전이 학습을 다목적 최적화로 확장하기 위해.
• 반응형 초파라미터 맵핑을 기반으로 한 반응형 비모수적 사전 분포를 활용해 관련 작업의 이전 평가 결과를 활용함으로써 베이지안 최적화의 효율성을 향상시키기 위해.
• 기존 전이 학습 방법에 대한 확장성 있고 강건한 대안을 제공하기 위해, 초파라미터 최적화 및 신경망 아키텍처 탐색 분야에서.

제안 방법

• 각 작업의 관측치를 비교 가능한 마진 분포로 변환하기 위해, 작업별로 반응형 초파라미터-목표 반응형 분포를 반응형 비모수적 가우시안 커퍼라로 모델링한다.
• 각 작업의 목표값에 대한 경험적 누적분포함수(CDF)를 사용하여 척도 및 이방성 차이를 고려한 연합 분포를 구성한다.
• 다중 작업 환경에서 탐색과 이용의 균형을 이루기 위해 커퍼라 기반 사후 분포에서 샘플링하는 톰슨 샘플링 전략을 구현한다.
• 반응형 추정치를 비정상성 및 비모수적 사전 분포로 사용하는 가우시안 커퍼라 프로세스(GCP)를 도입하여 초파라미터 선택을 안내한다.
• 복수의 목표치(예: 정확도 및 지연)를 평균화한 커퍼라 변환된 목표값을 사용하여 다목적 최적화로 프레임워크를 확장함으로써, 선형 스칼라화보다 더 나은 파레토 프론트 근사치를 가능하게 한다.
• 표준 초파라미터 최적화 및 신경망 아키텍처 탐색에 이 방법을 적용하여, 다양한 데이터셋과 지표에서 일관된 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 반응형 비모수적 가우시안 커퍼라 모델이 관련 초파라미터 최적화 작업 간 이질적인 척도와 노이즈 수준을 효과적으로 처리할 수 있는가?
• RQ2 반응형 커퍼라 사전 분포를 사용할 경우, 표준 전이 학습 기준선 대비 베이지안 최적화 성능이 향상되는가?
• RQ3 제안된 방법이 신경망 아키텍처 탐색에서 정확도 및 지연과 같은 복수의 목표치를 효율적으로 통합할 수 있는가?
• RQ4 선형 스칼라화 대비 반응형 커퍼라 기반 접근법이 다목적 최적화에서 진정한 파레토 프론트를 얼마나 잘 근사하는가?
• RQ5 동일한 알고리즘을 사용하는 다른 데이터셋을 넘어서, 초파라미터 차원이 다른 작업으로도 일반화 가능한가?

주요 결과

• 제안된 방법은 다양한 데이터셋에서 최신 기술 기준선보다 초파라미터 최적화 성능이 뛰어나며, 수렴 속도가 빠르고, 손실도 낮다.
• 신경망 아키텍처 탐색에서 기존 방법 대비 더 낮은 하이퍼볼륨 오차를 기록하여, 파레토 프론트 근사치가 훨씬 뛰어나다는 것을 입증한다.
• 가우시안 커퍼라의 사용은 두꺼운 尾部 또는 이상치에 민감한 데이터 분포에서도 강건한 성능을 발휘하며, 표준화 및 순위 기반 방법보다 뛰어나다.
• 커퍼라 사전 분포를 사용한 톰슨 샘플링은 다중 작업 환경에서 표준 적합도 함수보다 항상 더 높은 최적화 효율성을 달성한다.
• 스칼라화된 커퍼라 목표는 특히 목표치 간 트레이드오프 기하학이 볼록이 아닌 경우 선형 스칼라화보다 파레토 프론트를 더 정확하게 근사한다.
• 이 방법은 실제 HPO 및 NAS 워크로드에 효과적으로 스케일링되며, AWS 인프라에서의 실험 결과 상당한 속도 향상을 보였다.