[논문 리뷰] Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation

Henry B. Moss, Sebastian W. Ober외 1명|arXiv (Cornell University)|2023. 01. 24.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 품질-다양성 분해된 결정성 점 과정(DPPs)을 사용하여 스퍼스 가우시안 프로세스에 특화된 유도점 배정(IPA)을 제안한다. 이는 탐색 공간의 유망한 영역에서 고정밀 모델링을 우선시한다. 기존의 IPA 전략에 비해 최적화 성능을 크게 향상시키며, 특히 고성능 베이지안 최적화 작업에서 합성 및 실제 데이터 모두에서 베이스라인을 능가한다.

ABSTRACT

Sparse Gaussian Processes are a key component of high-throughput Bayesian Optimisation (BO) loops; however, we show that existing methods for allocating their inducing points severely hamper optimisation performance. By exploiting the quality-diversity decomposition of Determinantal Point Processes, we propose the first inducing point allocation strategy designed specifically for use in BO. Unlike existing methods which seek only to reduce global uncertainty in the objective function, our approach provides the local high-fidelity modelling of promising regions required for precise optimisation. More generally, we demonstrate that our proposed framework provides a flexible way to allocate modelling capacity in sparse models and so is suitable broad range of downstream sequential decision making tasks.

연구 동기 및 목표

• 고성능 베이지안 최적화(BO)에서 기존의 유도점 배정(IPA) 전략이 전역 회귀 정확도를 우선시하면서도, 유망한 영역에서 국소적 정밀도가 떨어지는 문제를 해결하기 위해.
• 베이지안 최적화(Bayesian optimization)에 특화된 새로운 IPA 프레임워크를 개발하여, 결정성 점 과정(DPPs)의 품질-다양성 분해를 활용해 탐색과 이용의 균형을 이루기 위해.
• 유망한 영역에서 기대 개선도(expected improvement)가 높은 지역에 모델링 능력을 집중함으로써, BO 특화 IPA가 최적화 성능을 크게 향상시킬 수 있음을 입증하기 위해.
• 다양한 순차적 의사결정 과제에 적용 가능한 일반적이고 융통성 있는 스퍼스 모델의 모델링 자원 할당 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 DPP의 품질-다양성 분해를 사용하며, 품질 함수는 높은 가치의 영역(예: 유망한 최적점)으로의 유도점 할당을 이끌고, 다양성은 탐색 공간의 전반적인 커버리지를 보장한다.
• 다목적 베이지안 최적화에서 후보 점이 지배하는 초체적량(HV)을 기반으로 한 새로운 품질 함수를 도입하여, 이를 HV-DPP라고 부르며, 다목적 BO에서 유도점 배치를 안내한다.
• 단일 목표 BO에서는 기대 개선도(EI)를 기반으로 한 품질 함수를 사용하며, 이를 DPP 프레임워크에 통합하여 불확실성 감소가 큰 영역에서 고정밀 모델링을 촉진한다.
• 스토하스틱 변분 가우시안 프로세스(SVGP)와 호환되어, 오직 100개의 유도점으로도 스케일러블하고 고성능의 최적화를 가능하게 한다.
• 다양한 모델(예: 다목적 BO에서의 목표 및 제약 조건)에 대해 별도의 IPA를 허용하며, 공유된 품질 함수를 통해 모델 간 할당을 조율할 수 있다.
• 기존의 표준 SVGP와 달리, 유클리드 입력 공간이 필요로 하지 않아 분자나 유전자와 같은 이산 구조로의 적용도 가능하다.

Figure 1: A toy problem showing two sparse GP surrogate models, one with its inducing points chosen using an existing method (top) and the other using one of our proposed BO-specific methods (bottom) that focuses modelling resources into promising areas of the search space. Our model is better suite

실험 결과

연구 질문

• RQ1 스퍼스 GPs에 대한 기존의 유도점 배정 전략은 고성능 베이지안 최적화 환경에서 정밀도를 확보하는 데 효과적인가?
• RQ2 유도점 배정을 어떻게 재구성하여 전역 회귀 정확도보다는 유망한 영역에서 국소적 고정밀 모델링을 우선시할 수 있는가?
• RQ3 품질-다양성 분해된 DPP를 사용하여, 최적화 성능을 향상시키는 융통성 있는 BO 최적화 IPA 프레임워크를 만들 수 있는가?
• RQ4 스퍼스 GP가 오직 100개의 유도점만을 사용할 때, 다목적 고성능 최적화 과제에서 정확한 GP의 성능을 어느 정도 따라올 수 있는가?

주요 결과

• 제안된 HV-DPP IPA 전략은 4차원 ZDT3 다목적 벤치마크에서 정확한 가우시안 프로세스의 성능을 재현하고 초월하며, 모든 베이스라인 대비 초체적량 지배 성능에서 뛰어나다.
• 실제 자동차 열교환기 설계 과제에서, 제안된 IPA를 사용한 SVGP는 오직 100개의 유도점만으로도 비용이 많이 드는 정확한 GP와 유사한 파레토 프론트를 달성한다.
• 정확한 GP에 비해 최적화 오버헤드를 한 수준 감소시켰지만, 높은 최적화 성능을 유지한다.
• 품질-다양성 DPP 프레임워크에서 유도된 IMP-DPP 변종은 Burt 등(2019)의 조건부 분산 감소 IPA보다 뛰어난 성능을 보였으며, 이는 이전에 BO 환경에서 성능이 열등했던 바 있다.
• 이 프레임워크는 분자나 유전자와 같은 이산 구조에서도 효과적인 고성능 베이지안 최적화를 가능하게 하며, 유클리드 입력 공간을 초월한다.
• 초체적량(HV)을 기반으로 한 품질 함수는 파레토 프론트의 중심 영역으로의 강한 편향을 제공하며, 평가가 빠르므로 대규모 최적화에 적합하다.

(a)