[논문 리뷰] Meta-Learning Acquisition Functions for Transfer Learning in Bayesian Optimization

Michael Volpp, Lukas P. Fröhlich외 5명|arXiv (Cornell University)|2019. 04. 04.

Machine Learning and Data Classification인용 수 15

한 줄 요약

이 논문은 베이지안 최적화에서 전이 학습을 가능하게 하기 위해 강화 학습을 통해 신경망 수확 함수(af)를 훈련하는 메타학습 프레임워크인 MetaBO를 제안한다. 소스 태스크에서 작업별 최적화 전략을 학습함으로써 MetaBO는 시뮬레이션에서 실제 제어 태스크, 하이퍼파ram터 튜닝, 일반 함수 클래스 전반에 걸쳐 뛰어난 데이터 효율성을 달성한다. 특히 구조적 패턴이 존재하지 않는 경우에도 기존의 수확 함수(예: 기대 개선도)와 작업 인식 수확 함수보다 뛰어난 성능을 보인다.

ABSTRACT

Transferring knowledge across tasks to improve data-efficiency is one of the open key challenges in the field of global black-box optimization. Readily available algorithms are typically designed to be universal optimizers and, therefore, often suboptimal for specific tasks. We propose a novel transfer learning method to obtain customized optimizers within the well-established framework of Bayesian optimization, allowing our algorithm to utilize the proven generalization capabilities of Gaussian processes. Using reinforcement learning to meta-train an acquisition function (AF) on a set of related tasks, the proposed method learns to extract implicit structural information and to exploit it for improved data-efficiency. We present experiments on a simulation-to-real transfer task as well as on several synthetic functions and on two hyperparameter search problems. The results show that our algorithm (1) automatically identifies structural properties of objective functions from available source tasks or simulations, (2) performs favourably in settings with both scarse and abundant source data, and (3) falls back to the performance level of general AFs if no particular structure is present.

연구 동기 및 목표

• 반복적으로 발생하는 유사 태스크에 대한 베이지안 최적화(Bayesian optimization, BO)의 데이터 비효율성 문제를 소스 태스크에서의 지식 전이를 통해 해결한다.
• 일반적인 수확 함수(예: 기대 개선도)의 한계를 극복하여 작업별 적응이 가능한 전략을 제공한다.
• 기울기 정보가 필요하지 않은 블랙박스 최적화 설정과 호환되는 전이 학습 방법을 개발한다.
• 소스 태스크에서 목적 함수의 구조적 패턴을 자동으로 탐지하고 활용할 수 있도록 한다.
• 사용할 수 있는 구조적 패턴이 존재하지 않을 경우 기준 수확 함수 성능으로 안정적으로 떨어지도록 보장한다.

제안 방법

• 소스 태스크 세트에서 강화 학습을 통해 신경망 수확 함수(신경망 AF)를 표현한다.
• 에피소드 기반 누적 회귀 감소를 기반으로 정책 기반 강화 학습(PPO)을 사용해 신경망 AF의 파라미터를 최적화한다.
• 신경망 AF의 입력에 GP 사후 평균, 분산, 쿼리 포인트 특징을 포함시키되, 입력 위치는 제외하여 차원에 관계없이 전이가 가능하도록 설계한다.
• 제어된 커널 하이퍼파ram터(RBF, Matern-5/2)를 가진 GP 사전분포에서 샘플링된 소스 태스크 분포에 대해 신경망 AF를 메타학습한다.
• 재학습 없이도 새로운 타겟 태스크에 적용함으로써, 새로운 차원이나 구성에 대해 제로샷 적응을 가능하게 한다.
• 메타학습 중 교차 검증을 사용하여 조기 정지 기준을 설정함으로써 일반화 성능을 확보하고 소스 데이터에 대한 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 메타학습된 신경망 수확 함수는 데이터가 부족한 베이지안 최적화 환경에서 기존 수확 함수보다 뛰어난 성능을 보일 수 있는가?
• RQ2 이 방법은 소스 태스크의 목적 함수에서 구조적 패턴을 얼마나 잘 자동 탐지하고 활용할 수 있는가?
• RQ3 소스 데이터가 제한적일 경우와 다량일 경우 성능에 어떤 영향을 미치는가?
• RQ4 메타학습 중에 본 바와 다른 입력 차원을 가진 새로운 태스크에서 신경망 AF의 성능이 유지되는가?
• RQ5 목적 함수 클래스에 사용할 수 있는 구조적 패턴이 존재하지 않을 경우, 이 방법은 기준 성능으로 안정적으로 떨어지는가?

주요 결과

• 시뮬레이션에서 실제 제어 태스크에서 MetaBO는 기대 개선도(EI)와 작업 인식 수확 함수(TAF)보다 뛰어난 성능을 보였으며, 평가 수를 줄임에도 불구하고 더 낮은 회귀를 달성했다.
• SVM과 AdaBoost 두 하이퍼파ram터 최적화 태스크에서 MetaBO는 동일한 소스 데이터 양을 사용함에도 불구하고 EI와 TAF를 능가하는 데이터 효율적인 신경망 AF를 학습했다.
• 명시적인 구조가 없는 일반 함수 클래스(RBF 및 Matern-5/2 커널, 길이 척도 ∈ [0.05, 0.5])에서 MetaBO의 신경망 AF는 EI와 동등하거나 그 이상의 성능를 보였으며, 이는 강건한 백업 동작을 보여준다.
• 차원에 관계없는 버전의 MetaBO는 3D 태스크에서 학습한 후 재학습 없이 4D 및 5D 문제에 적용되었을 때도 모든 차원에서 뛰어난 성능를 유지했다.
• MetaBO는 소스 태스크의 목적 함수에서 구조적 패턴을 성공적으로 탐지하고 활용하여 빠른 수렴과 낮은 회귀를 이끌어냈다.
• 희소한 소스 데이터와 다량의 소스 데이터를 포함한 다양한 환경에서 일관된 성능를 보였으며, 실제 최적화에 넓은 적용 가능성을 입증했다.