[논문 리뷰] End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes

Alexandre Maraval, Matthieu Zimmer외 2명|arXiv (Cornell University)|2023. 05. 25.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 트랜스포머 기반 신경 프로세스를 사용하여 정확도 향상된 메타베이지안 최적화 프레임워크를 제안한다. 이는 대체로 별도의 단계로 처리되는 서피스 모델링과 획득 함수 학습을 통합하여 종단간(end-to-end)으로 학습할 수 있도록 한다. 강화학습과 보조적 확률적 인덕티브 바이어스를 결합함으로써, 하이퍼파rameter 튜닝, 항체 설계, 전자 설계 자동화 작업에서 최신 기준 성능을 달성한다.

ABSTRACT

Meta-Bayesian optimisation (meta-BO) aims to improve the sample efficiency of Bayesian optimisation by leveraging data from related tasks. While previous methods successfully meta-learn either a surrogate model or an acquisition function independently, joint training of both components remains an open challenge. This paper proposes the first end-to-end differentiable meta-BO framework that generalises neural processes to learn acquisition functions via transformer architectures. We enable this end-to-end framework with reinforcement learning (RL) to tackle the lack of labelled acquisition data. Early on, we notice that training transformer-based neural processes from scratch with RL is challenging due to insufficient supervision, especially when rewards are sparse. We formalise this claim with a combinatorial analysis showing that the widely used notion of regret as a reward signal exhibits a logarithmic sparsity pattern in trajectory lengths. To tackle this problem, we augment the RL objective with an auxiliary task that guides part of the architecture to learn a valid probabilistic model as an inductive bias. We demonstrate that our method achieves state-of-the-art regret results against various baselines in experiments on standard hyperparameter optimisation tasks and also outperforms others in the real-world problems of mixed-integer programming tuning, antibody design, and logic synthesis for electronic design automation.

연구 동기 및 목표

• 기존 메타베이지안 최적화 방법이 서피스 모델링과 획득 함수 학습을 별개의 단계로 다루는 한계를 해결하기 위해.
• 메타-BO에서 두 구성 요소를 함께 종단간으로 학습할 수 있도록 기계적 구조를 제공하기 위해.
• 획득 함수를 처음부터 학습할 때 강화학습에서의 희소 보상 문제를 해결하기 위해.
• 유사한 소스 작업들로부터의 지식을 활용하여 새로운 최적화 작업에서의 샘플 효율성을 향상시키기 위해.
• 가우시안 프로세스에 의존하지 않고 관측된 데이터로부터 직접 획득 함수 값을 예측할 수 있는 통합된, 미분 가능한 프레임워크를 개발하기 위해.

제안 방법

• 획득 함수를 직접 모델링하기 위해 트랜스포머 기반 신경 프로세스 아키텍처를 제안하여 종단간 미분 가능한 메타최적화를 가능하게 한다.
• 누적 손실을 보상 신호로 사용하여 강화학습을 통해 획득 함수 정책을 학습시킨다.
• 하위 네트워크가 유효한 확률적 모델을 학습하도록 도와주는 보조 손실을 도입하여, 학습 안정성을 높이는 인덕티브 바이어스 역할을 한다.
• 누적 손실 기반 보상의 로그 희소성에 대한 조합 분석을 통해, 강화학습 기반 메타-BO에서 보조 지도 학습의 필요성을 정당화한다.
• 정책 기반 강화학습 방법을 사용하여 전체 모델을 종단간으로 학습하며, 획득 함수는 다음 평가 지점에 대한 행동 확률을 출력한다.
• 신경 프로세스의 구조적 인덕티브 바이어스를 활용하여 작업 간 일반화 능력을 유지하면서도, 공동 최적화를 위한 미분 가능성 확보

실험 결과

연구 질문

• RQ1 통합된 종단간 미분 가능한 프레임워크는 메타베이지안 최적화에서 서피스 모델링과 획득 함수 학습을 동시에 최적화할 수 있는가?
• RQ2 강화학습에서 획득 함수 학습에 사용되는 손실 기반 보상의 희소성은 트랜스포머 기반 획득 함수의 학습 안정성에 어떤 영향을 미치는가?
• RQ3 보조적 확률적 인덕티브 바이어스는 희소 보상 환경에서 종단간 메타-BO의 학습 안정성과 성능을 향상시킬 수 있는가?
• RQ4 서피스 및 획득 함수 구성 요소의 공동 학습은 별도로 처리하는 방법보다 더 높은 샘플 효율성을 달성하는가?
• RQ5 제안된 방법은 하이퍼파rameter 튜닝, 항체 설계, 논리 합성과 같은 다양한 실제 최적화 작업에서 효과적으로 일반화될 수 있는가?

주요 결과

• 제안된 종단간 메타-BO 프레임워크는 표준 하이퍼파rameter 최적화 벤치마크에서 최신 기준의 손실 성능을 달성한다.
• 혼합 정수 프로그래밍 튜닝 및 전자 설계 자동화와 같은 실제 응용 분야에서도 기존 베이스라인을 능가한다.
• 보조적 확률적 인덕티브 바이어스의 포함이 희소 보상 환경에서 학습 안정성 향상과 샘플 효율성 향상에 크게 기여한다.
• 실험 결과는 서피스 및 획득 함수 구성 요소의 공동 학습이 별도 처리 방법보다 낮은 누적 손실을 유도한다는 것을 입증한다.
• 조합 분석 결과, 손실 기반 보상은 로그 희소성을 가지며, 이는 강화학습 기반 메타-BO에서 보조 지도 학습의 필요성을 정당화한다.
• 프레임워크는 항체 설계의 조합 시퀀스 최적화 및 칩 설계와 같은 다양한 작업에서 효과적으로 일반화된다.