[논문 리뷰] Reinforced Few-Shot Acquisition Function Learning for Bayesian Optimization

Bing-Jing Hsieh, Ping-Chun Hsieh외 1명|arXiv (Cornell University)|2021. 06. 08.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 베이지안 딥 Q-네트워크(DQN)를 사용하여 획득 함수의 분포를 학습함으로써 소수의 메타데이터로 다양한 블랙박스 함수에 빠르게 적응할 수 있는 강화된 소수 샘플 획득 함수 학습(FSAF) 프레임워크를 제안한다. Kullback-Leibler 정규화, 데모 유도 전처리, 그리고 베이지안 모델 무관 메타학습에서 유도된 메타손실을 통합함으로써 FSAF는 과적합을 완화하고 합성 및 실제 최적화 과제에서 최신 기준 성능을 달성한다.

ABSTRACT

Bayesian optimization (BO) conventionally relies on handcrafted acquisition functions (AFs) to sequentially determine the sample points. However, it has been widely observed in practice that the best-performing AF in terms of regret can vary significantly under different types of black-box functions. It has remained a challenge to design one AF that can attain the best performance over a wide variety of black-box functions. This paper aims to attack this challenge through the perspective of reinforced few-shot AF learning (FSAF). Specifically, we first connect the notion of AFs with Q-functions and view a deep Q-network (DQN) as a surrogate differentiable AF. While it serves as a natural idea to combine DQN and an existing few-shot learning method, we identify that such a direct combination does not perform well due to severe overfitting, which is particularly critical in BO due to the need of a versatile sampling policy. To address this, we present a Bayesian variant of DQN with the following three features: (i) It learns a distribution of Q-networks as AFs based on the Kullback-Leibler regularization framework. This inherently provides the uncertainty required in sampling for BO and mitigates overfitting. (ii) For the prior of the Bayesian DQN, we propose to use a demo policy induced by an off-the-shelf AF for better training stability. (iii) On the meta-level, we leverage the meta-loss of Bayesian model-agnostic meta-learning, which serves as a natural companion to the proposed FSAF. Moreover, with the proper design of the Q-networks, FSAF is general-purpose in that it is agnostic to the dimension and the cardinality of the input domain. Through extensive experiments, we demonstrate that the FSAF achieves comparable or better regrets than the state-of-the-art benchmarks on a wide variety of synthetic and real-world test functions.

연구 동기 및 목표

• 베이지안 최적화에서 다양한 블랙박스 함수에 잘 작동하는 단일 획득 함수를 설계하는 데 도전한다.
• 기존의 메타학습 접근 방식이 큰 메타데이터 세트가 필요로 하는 데 비해, 소량의 메타데이터(예: 1샷)만으로도 획득 함수의 빠른 적응을 가능하게 한다.
• 불확실성 인식 베이지안 모델링을 통해 딥 강화학습 기반 획득 함수에서의 과적합을 완화한다.
• 다양한 최적화 목표와 호환되며, 미분 가능하고 일반적인 목적의 획득 함수를 개발한다.

제안 방법

• 획득 함수를 Q-함수로 공식화하고, 획득 함수의 미분 가능하고 파rameterized 대체 모델로 딥 Q-네트워크(DQN)를 사용한다.
• Kullback-Leibler 정규화를 사용하여 Q-네트워크 파라미터의 분포를 학습하는 베이지안 DQN의 변종을 도입함으로써, 자연스럽게 불확실성을 모델링하고 과적합을 줄인다.
• 사전 훈련된 획득 함수(예: EI)로부터 유도된 데모 정책을 베이지안 DQN의 전처리로 사용하여 훈련 안정성을 향상시킨다.
• 베이지안 모델 무관 메타학습(Bayesian model-agnostic meta-learning, MAML)에서 유도된 메타손실을 활용하여, 다양한 과제에서 DQN의 초기화 및 적응을 동시에 최적화한다.
• 입력 차원과 도메인 기수의 영향을 받지 않는 Q-네트워크 아키텍처를 설계하여 광범위한 적용 가능성을 확보한다.
• 메타데이터를 사용하여 소스 과제의 분포에서 FSAF 모델을 훈련한 후, 새로운 과제당 몇 개의 샘플만으로 미세조정한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 기반 획득 함수가 소수의 샘플만으로도 새로운 블랙박스 함수에 효과적으로 적응할 수 있는가?
• RQ2 베이지안 최적화에서 소수 샘플 적응 과정에서 딥 Q-네트워크 기반 획득 함수의 과적합을 어떻게 완화할 수 있는가?
• RQ3 구조화된 전처리와 메타학습 손실을 갖춘 베이지안 DQN이 표준 DQN 또는 수작업으로 설계된 AF보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 제안된 FSAF가 다양한 합성 및 실제 최적화 과제에서 최신 기준 획득 함수를 얼마나 뛰어나게 초월하는가?

주요 결과

• FSAF는 합성 및 실제 테스트 함수의 광범위한 범위에서 최신 기준 벤치마크와 비교해 유사하거나 더 낮은 리그레트를 달성하여 강력한 일반화 능력을 입증한다.
• KL 정규화와 데모 기반 전처리를 갖춘 제안된 베이지안 DQN은 표준 DQN+MAML에 비해 과적합을 크게 감소시켰으며, 강력한 훈련 성능에도 불구하고 테스트 성능에서 빈약한 일반화를 보였던 표준 DQN+MAML와 대비된다.
• FSAF는 부드러움, 다중 최적값, 노이즈 수준이 다른 다양한 유형의 블랙박스 함수에서 뛰어난 성능을 보였다.
• 베이지안 MAML에서 유도된 메타손실의 통합은 소수 샘플 기반의 빠르고 안정적인 적응을 가능하게 하였으며, 제한된 메타데이터 조건에서도 성능 저하가 최소화되었다.
• FSAF는 일반적인 목적의 것으로서 차원에 영향을 받지 않으며, 아키텍처 수정 없이도 저차원 및 고차원 입력 도메인 모두에서 잘 작동한다.