[논문 리뷰] Bayesian Optimization over Hybrid Spaces

Aryan Deshwal, Syrine Belakaria외 1명|arXiv (Cornell University)|2021. 06. 08.

Advanced Multi-Objective Optimization Algorithms참고 문헌 44인용 수 4

한 줄 요약

이 논문은 이산 및 연속 변수를 포함하는 하이브리드 공간에서 비용이 많이 드는 블랙박스 함수 최적화를 위한 새로운 베이지안 최적화 프레임워크인 HyBO를 제안한다. 이는 복잡한 상호작용을 모델링하기 위해 덧셈형 확산 커널을 사용한다. 커널의 보편 근사성 성질을 증명하고, 재료 설계 및 하이퍼파rameter 최적화를 포함한 합성 및 실세계 벤치마크에서 최첨단 기법들보다 뛰어난 성능을 보여준다.

ABSTRACT

We consider the problem of optimizing hybrid structures (mixture of discrete and continuous input variables) via expensive black-box function evaluations. This problem arises in many real-world applications. For example, in materials design optimization via lab experiments, discrete and continuous variables correspond to the presence/absence of primitive elements and their relative concentrations respectively. The key challenge is to accurately model the complex interactions between discrete and continuous variables. In this paper, we propose a novel approach referred as Hybrid Bayesian Optimization (HyBO) by utilizing diffusion kernels, which are naturally defined over continuous and discrete variables. We develop a principled approach for constructing diffusion kernels over hybrid spaces by utilizing the additive kernel formulation, which allows additive interactions of all orders in a tractable manner. We theoretically analyze the modeling strength of additive hybrid kernels and prove that it has the universal approximation property. Our experiments on synthetic and six diverse real-world benchmarks show that HyBO significantly outperforms the state-of-the-art methods.

연구 동기 및 목표

• 이산 및 연속 변수를 포함하는 하이브리드 입력 공간에서 비용이 많이 드는 블랙박스 함수를 최적화하는 데 도전하는 문제를 해결하기 위해.
• 이산 및 연속 변수 간의 복잡한 상호작용을 포괄하는 원칙적인 커널 기반의 대체 모델링 방법을 개발하기 위해.
• 특히 보편 근사성에 대한 이론적 보장을 확립하기 위해 하이브리드 커널의 모델링 능력에 대한 이론적 보장을 확보하기 위해.
• 다양한 실세계 및 합성 최적화 과제에서 제안된 방법의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 이산 및 연속 변수를 포함하는 하이브리드 입력 공간에서 가우시안 프로세스와 덧셈형 확산 커널을 사용하는 하이브리드 베이지안 최적화(HyBO) 프레임워크를 제안한다.
• 모든 상호작용 차수에 걸쳐 기반 확산 커널을 이산 및 연속 변수에 대해 덧셈 형식으로 조합하여 하이브리드 커널을 구성한다.
• 복합 변수 간의 상호작용을 효율적으로 모델링하면서도 해석 가능성을 유지할 수 있는 원칙적인 커널 구성 방법을 활용한다.
• 연속 변수에 대한 기존 결과와 이산 변수에 대한 신규 결과를 활용하여 덧셈형 하이브리드 커널의 보편 근사성을 증명한다.
• 제약 조건을 처리하고 하이브리드 공간 내에서 유효한 탐색을 보장하기 위해 획득 함수 최적화 절차(AFO)를 사용한다.
• 실세계 문제인 재료 설계, 로봇 제어, 하이퍼파rameter 튜닝에 이 프레임워크를 적용하고 경험적으로 평가한다.

실험 결과

연구 질문

• RQ1 커널 기반의 대체 모델은 하이브리드 최적화에서 이산 및 연속 변수 간의 복잡한 상호작용을 효과적으로 포착할 수 있는가?
• RQ2 제안된 덧셈형 하이브리드 확산 커널은 하이브리드 공간의 함수에 대해 보편 근사성을 갖는가?
• RQ3 하이브리드 최적화 문제에서 수렴 속도와 최종 目표 함수 값 측면에서 HyBO는 최첨단 기법들과 비교해 어떻게 성능을 내는가?
• RQ4 덧셈형 커널 구조는 비덧셈형 또는 비확산 기반 대안들에 비해 모델 정확도와 최적화 성능을 얼마나 향상시키는가?

주요 결과

• HyBO는 재료 설계, 로봇 제어, 하이퍼파arameter 최적화를 포함한 여섯 가지 다양한 실세계 벤치마크에서 최첨단 기법들을 크게 앞서 간다.
• 합성 벤치마크에서 Synthetic Function 1에 대해 HyBO는 평균 함수 값을 79.7로 기록했고, 다음으로 우수한 방법(G-M et al.)의 99.4보다 20% 우수한 성능을 보였다.
• Synthetic Function 2에 대해 HyBO는 200회 반복 후 394.6에 도달했고, 두 번째로 우수한 방법(420)보다 6% 뛰어나게 성능을 냈다.
• 절단 실험 결과, 마진화 없이도 HyBO는 전체 HyBO와 거의 유사한 성능을 보였으며, 이는 덧셈형 하이브리드 확산 커널의 강력함을 확인한다.
• 모든 변수를 연속 변수로 간주하는 Cont-BO는 다른 모든 방법들보다 열등한 성능을 보였으며, 이는 하이브리드 구조를 명시적으로 모델링할 필요성이 있음을 강조한다.