[논문 리뷰] Extending Multi-Source Bayesian Optimization With Causality Principles

Luuk Jacobs, Mohammad Ali Javidian|arXiv (Cornell University)|2026. 02. 16.

Advanced Multi-Objective Optimization Algorithms인용 수 0

한 줄 요약

MSCBO는 고차원적이고 비용이 큰 개입을 여러 정보원에 걸쳐 수행할 때 수렴성을 개선하고 비용을 줄이기 위해 인과 베이지안 최적화와 다중 소스 베이지안 최적화를 결합합니다.

ABSTRACT

Multi-Source Bayesian Optimization (MSBO) serves as a variant of the traditional Bayesian Optimization (BO) framework applicable to situations involving optimization of an objective black-box function over multiple information sources such as simulations, surrogate models, or real-world experiments. However, traditional MSBO assumes the input variables of the objective function to be independent and identically distributed, limiting its effectiveness in scenarios where causal information is available and interventions can be performed, such as clinical trials or policy-making. In the single-source domain, Causal Bayesian Optimization (CBO) extends standard BO with the principles of causality, enabling better modeling of variable dependencies. This leads to more accurate optimization, improved decision-making, and more efficient use of low-cost information sources. In this article, we propose a principled integration of the MSBO and CBO methodologies in the multi-source domain, leveraging the strengths of both to enhance optimization efficiency and reduce computational complexity in higher-dimensional problems. We present the theoretical foundations of both Causal and Multi-Source Bayesian Optimization, and demonstrate how their synergy informs our Multi-Source Causal Bayesian Optimization (MSCBO) algorithm. We compare the performance of MSCBO against its foundational counterparts for both synthetic and real-world datasets with varying levels of noise, highlighting the robustness and applicability of MSCBO. Based on our findings, we conclude that integrating MSBO with the causality principles of CBO facilitates dimensionality reduction and lowers operational costs, ultimately improving convergence speed, performance, and scalability.

연구 동기 및 목표

• 다중 정보원에 걸친 고차원적 개입을 포함한 최적화 문제를 동기 부여하고 해결한다.
• 인과 지식을 도입하여 최소한의 영향력 있는 개입 집합(POMIS)을 식별하고 차원을 축소한다.
• 출처의 신뢰도, 비용 및 인과적 영향의 균형을 맞춰 효율성을 향상시키는 원칙 있는 알고리즘을 개발한다.
• 합성 및 실제 네트워크 벤치마드를 통해 강건성과 확장성을 입증한다.

제안 방법

• 인과 모델링을 다중 소스 베이지안 최적화와 통합하여 검색 공간을 축소하는 프레임워크인 MSCBO를 구성한다.
• 최적의 소스와 개입을 선택하기 위해 다중 소스 Knowledge Gradient(CKG)을 탐지 함수로 사용한다.
• 탐색 공간을 가지치기하고 확장성을 향상시키기 위해 최소 개입 세트(POMIS)를 계산한다.
• 관찰 및 개입 비용을 반영하여 예산 제약 최적화를 수행한다.
• 관찰과 개입 사이의 탐색-활용 균형을 맞추기 위해 엡실론-탐욕 정책을 적용한다.
• 알고리즘 의사코드(알고리즘 1)를 제공하고 업데이트를 위해 인과 가우시안 프로세스(Causal GP) 모델에 의존한다.

실험 결과

연구 질문

• RQ1 다중 소스에서의 인과 정보를 도입하는 것이 다중 소스 도메인에서 베이지안 최적화의 수렴 속도와 성능을 향상시키는가?
• RQ2 MSCBO가 CBO 및 MSBO에 비해 개입 비용을 줄이면서 최적화 품질을 유지하거나 향상시킬 수 있는가?
• RQ3 고차원 네트워크에서 POMIS 기반 탐색 세트 가지치기가 확장성에 어떤 영향을 미치는가?
• RQ4 실세계에 근접한 벤치마크에서 노이즈가 있거나 변형된 인과 구조하에서 MSCBO의 강건성은 어느 정도인가?

주요 결과

• MSCBO는 단일 소스 CBO와 비교해 동등하거나 더 나은 비용 효율성을 달성하며, 스마트한 소스 선택과 인과 탐색 덕분에 비용 측면에서 종종 MSBO를 능가한다.
• MSCBO는 POMIS를 통해 탐색 공간을 줄여 E. coli 네트워크와 같은 더 큰 네트워크에서 확장성을 향상시킨다.
• MSCBO는 달성한 최적값에서 일반적으로 MSBO에 필적하거나 이를 상회하며, 노이즈에 대해 강건하고, 데이터가 노이즈이거나 구조가 변형될 때 인과 정보가 이점을 제공한다.
• PSA 및 E. coli 실험에서 MSCBO는 수렴 속도와 예산 처리 면에서 향상을 보여주며, 특히 더 크고 복잡한 네트워크에서 두드러진다.