[논문 리뷰] Hyperparameter Learning via Distributional Transfer

Ho Chung Leon Law, Peilin Zhao외 3명|arXiv (Cornell University)|2018. 10. 15.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 9

한 줄 요약

이 논문은 초원 데이터 분포를 재생핵 힐버트 공간에 통합함으로써 하이퍼파rameter 학습 작업 간 지식을 전이하는 베이지안 최적화 방법을 제안한다. 이는 하이퍼파ram터와 데이터 표현을 함께 모델링할 수 있게 하여, 이전의 모든 평가(최적화되지 않은 것 포함)를 활용함으로써 빠른 수렴을 가능하게 한다. 이는 일반적으로 몇 번의 평가만으로도 최적의 하이퍼파ram터를 식별할 수 있도록 한다.

ABSTRACT

Bayesian optimisation is a popular technique for hyperparameter learning but typically requires initial exploration even in cases where similar prior tasks have been solved. We propose to transfer information across tasks using learnt representations of training datasets used in those tasks. This results in a joint Gaussian process model on hyperparameters and data representations. Representations make use of the framework of distribution embeddings into reproducing kernel Hilbert spaces. The developed method has a faster convergence compared to existing baselines, in some cases requiring only a few evaluations of the target objective.

연구 동기 및 목표

• 초기 평가가 필요로 하는 베이지안 최적화의 '콜드 스타트' 문제를 해결한다.
• 기존의 전이 학습 방법이 함수 평가에만 의존하고 학습 데이터셋의 구조적 정보를 忽略하는 한계를 극복한다.
• 목표 작업에서의 평가가 전혀 없더라도 데이터 분포로부터 작업별 표현을 학습하여 효과적인 지식 전이를 가능하게 하는 방법을 개발한다.
• 하이퍼파aram터, 데이터 표현, 샘플 크기를 함께 모델링하는 가우시안 프로세스 프레임워크를 통해 하이퍼파aram터 최적화의 수렴 속도를 향상시킨다.
• 이전 평가(최적화되지 않은 것 포함)를 모두 활용하는 것이, 그러한 데이터를 기각하는 기준보다 더 나은 初기 하이퍼파aram터 선택을 이끌 수 있음을 입증한다.

제안 방법

• 특성 커널을 통해 분포 임베딩(예: 특성 커널을 통한)을 사용하여 학습 데이터셋을 재생핵 힐버트 공간의 원소로 표현함으로써 데이터 분포의 구조적 특성을 캡처한다.
• 하이퍼파aram터 θ, 데이터 분포 P_XY, 샘플 크기 s의 세 입력에 대해 공동 가우시안 프로세스 모델을 구축함으로써 작업 간 공동 추론을 가능하게 한다.
• 데이터 분포 간 커널 기반 유사도 측정을 사용하여 작업 유사도를 정량화하고, 소스 작업에서의 정보를 새로운 목표 작업으로 전이할 수 있도록 한다.
• 모든 이전 평가(최적화되지 않은 하이퍼파aram터 설정 포함)를 GP 모델에 통합하여 일반화 성능 향상과 탐색 감소를 도모한다.
• 함수 평가 수에 대해 선형 확장성을 확보함으로써 스케일러블한 하이퍼파aram터 전이 학습 프레임워크를 구현한다.
• 공통 입력 공간에서 획득 함수(예: 기대 개선도)를 적용하여 목표 성능의 기대 개선도를 최대화하는 하이퍼파aram터를 순차적으로 선택한다.

실험 결과

연구 질문

• RQ1 목표 작업에서의 初기 평가 없이도 데이터 분포 임베딩이 작업 간 지식 전이를 가능하게 하여 하이퍼파aram터 최적화를 향상시킬 수 있는가?
• RQ2 하이퍼파aram터, 데이터 분포, 샘플 크기를 함께 모델링하는 것이 표준 베이지안 최적화와 비교해 수렴 속도에 어떤 영향을 미치는가?
• RQ3 수작업으로 만든 메타 특징은 하이퍼파aram터 전이 성능에 얼마나 제한적인가? 그리고 학습된 표현은 이러한 제한을 초월할 수 있는가?
• RQ4 모든 과거 평가(최적화되지 않은 것 포함)를 활용하는 것이, 그러한 데이터를 기각하는 방법보다 더 나은 초기 하이퍼파aram터 선택을 이끌 수 있는가?
• RQ5 제안된 방법은 목표 목표 함수의 몇 번의 평가 내에 거의 최적의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법 distGP는 일부 경우에서 원샷 최적화를 달성하여 목표 목표 함수의 평가가 1~2회로도 최적의 하이퍼파aram터 설정을 식별한다.
• distGP는 회귀 및 분류 작업 전반에서 다중GP, initGP, manualBO, multiBO 등의 기준보다 수렴 속도에서 뚜렷한 우월성을 보인다.
• 단백질 데이터셋에서 distGP는 Jaccard 커널 C-SVM 및 랜덤 포레스트 모두에 대해 몇 번의 평가 내에 최적값을 찾았으며, 모든 기준보다 빠른 수렴 속도를 보였다.
• 이 방법은 변수 간 삼중 상호작용과 같은 마진 또는 이원 통계로는 감지되지 않는 작업 간 차이에 대해서도 강건함을 보였다.
• 수작업 메타 특징에 의존하는 기준들(예: manualBO)은 그 특징들이 작업 간 차이에 대해 불변이기 때문에 성능이 열악했으며, multiBO와 유사한 성능을 보였다.
• initGP는 웜스타트 이후 수렴 속도가 느렸으며, 최고 성능의 평가만이 아니라 모든 이전 평가를 활용하는 것이 중요함을 시사한다.