[논문 리뷰] Combinatorial Bayesian Optimization using the Graph Cartesian Product

ChangYong Oh, Jakub M. Tomczak외 2명|arXiv (Cornell University)|2019. 02. 01.

Gaussian Processes and Bayesian Inference인용 수 38

한 줄 요약

COMBO는 조합 탐색 공간에서 스무스니스를 조합 그래프를 통해 모델링하고 ARD 및 Horseshoe 사전분포를 갖는 확산 커널로 확장성과 고차 상호작용을 다루는 Gaussian Process 기반의 Bayesian Optimization 프레임워크를 도입합니다.

ABSTRACT

This paper focuses on Bayesian Optimization (BO) for objectives on combinatorial search spaces, including ordinal and categorical variables. Despite the abundance of potential applications of Combinatorial BO, including chipset configuration search and neural architecture search, only a handful of methods have been proposed. We introduce COMBO, a new Gaussian Process (GP) BO. COMBO quantifies "smoothness" of functions on combinatorial search spaces by utilizing a combinatorial graph. The vertex set of the combinatorial graph consists of all possible joint assignments of the variables, while edges are constructed using the graph Cartesian product of the sub-graphs that represent the individual variables. On this combinatorial graph, we propose an ARD diffusion kernel with which the GP is able to model high-order interactions between variables leading to better performance. Moreover, using the Horseshoe prior for the scale parameter in the ARD diffusion kernel results in an effective variable selection procedure, making COMBO suitable for high dimensional problems. Computationally, in COMBO the graph Cartesian product allows the Graph Fourier Transform calculation to scale linearly instead of exponentially. We validate COMBO in a wide array of realistic benchmarks, including weighted maximum satisfiability problems and neural architecture search. COMBO outperforms consistently the latest state-of-the-art while maintaining computational and statistical efficiency.

연구 동기 및 목표

• 범주형 및 순차 변수로 구성된 조합 공간에서 효율적인 BO를 촉진하고 가능하게 한다.
• 조합 그래프와 Graph Fourier Transform를 통해 조합 공간에서 구성적(합성적) 스무스니스의 개념을 정의한다.
• 고차원 문제를 다루기 위해 ARD 확산 커널과 변수 선택을 갖춘 확장 가능한 GP 대체 모델을 개발한다.
• 벤치마크와 현실적인 문제들(예: SAT/MaxSAT, 신경망 구조 탐색)에서 경쟁력 있는 성능을 달성한다.

제안 방법

• 각 변수(순서형에 대해 경로, 범주형에 대해 완전 그래프)를 나타내는 부분 그래프들의 카테시안 곱으로 조합 그래프를 구성한다.
• 그래프 푸리에 변환(Graph Fourier Transform)과 확산 커널을 사용하여 조합 그래프에서 스무스니스를 정의한다.
• 변수별 스케일링 요인을 갖는 ARD 확산 커널을 도입하고 그래프 카테시안 곱에서의 크로네커 분해를 통해 커널을 효율적으로 계산한다.
• 변수별 스케일에 Horseshoe 사전분포를 사용하고 후방 샘플링을 수행하여 자동 변수 선택을 가능하게 한다.
• 슬라이스 샘플링으로 GP 대리자를 맞추고, 확장성 확보를 위해 그래프 상에서 횡단 탐색(breadth-first) 로컬 탐색을 사용하여 획득함수(EI)를 최적화한다.
• 고차원 조합 공간에 확장 가능하고 변수별 희소성을 활용하는 알고리즘(COMBO)을 제공한다.

실험 결과

연구 질문

• RQ1 조합 공간에서 정의된 목적 함수의 스무스니스를 어떻게 인코딩하고 활용할 수 있는가?
• RQ2 그래프 기반 커널을 갖는 GP 기반 대리자가 조합 BO에서 고차 상호작용을 효율적으로 모델링할 수 있는가?
• RQ3 변수별 ARD 확산 커널과 희소성 사전분포가 고차원 문제에서 확장 가능한 BO를 가능하게 하는가?
• RQ4 최신 방법과 비교하여 현실적인 조합 최적화 작업에서 COMBO의 성능은 어떤가?
• RQ5 이 접근법이 이진, 순차(ordinal), 다중 범주 변수를 통합 프레임워크로 처리할 수 있는가?

주요 결과

• COMBO는 이진, 순차 및 다중 범주 벤치마크와 현실적인 문제들에서 경쟁 방법을 지속적으로 능가한다.
• 그래프 카테시안 곱은 크로네커 곱을 통해 변수별 구성요소로 분해하여 그래프 푸리에 변환과 커널의 확장 가능한 계산을 가능하게 한다.
• 변수별 확산 스케일(beta_i)은 ARD 기반의 유연성을 제공하고, Horseshoe 사전분포는 고차원 문제를 다루기 위한 희소성을 유도한다.
• 신경망 아키텍처 탐색과 가중치 MaxSAT 설정에서 COMBO는 대안들에 비해 우수한 결과와 바람직한 실행 시간을 달성한다.
• Ising 희소화 결과는 상호작용이 제한될 때 COMBO가 여전히 경쟁력이 있음을 시사하며, 더 복잡한 작업에서 전체 고차 상호작용은 더 큰 이득을 준다.