[論文レビュー] Extending Multi-Source Bayesian Optimization With Causality Principles

Luuk Jacobs, Mohammad Ali Javidian|arXiv (Cornell University)|Feb 16, 2026

Advanced Multi-Objective Optimization Algorithms被引用数 0

ひとこと要約

tldr: MSCBO は 因果ベイズ最適化を 複数情報源のベイズ最適化と 組み合わせ、複数の情報源にまたがる高次元でコストの高い介入の収束を改善し コストを削減する。

ABSTRACT

Multi-Source Bayesian Optimization (MSBO) serves as a variant of the traditional Bayesian Optimization (BO) framework applicable to situations involving optimization of an objective black-box function over multiple information sources such as simulations, surrogate models, or real-world experiments. However, traditional MSBO assumes the input variables of the objective function to be independent and identically distributed, limiting its effectiveness in scenarios where causal information is available and interventions can be performed, such as clinical trials or policy-making. In the single-source domain, Causal Bayesian Optimization (CBO) extends standard BO with the principles of causality, enabling better modeling of variable dependencies. This leads to more accurate optimization, improved decision-making, and more efficient use of low-cost information sources. In this article, we propose a principled integration of the MSBO and CBO methodologies in the multi-source domain, leveraging the strengths of both to enhance optimization efficiency and reduce computational complexity in higher-dimensional problems. We present the theoretical foundations of both Causal and Multi-Source Bayesian Optimization, and demonstrate how their synergy informs our Multi-Source Causal Bayesian Optimization (MSCBO) algorithm. We compare the performance of MSCBO against its foundational counterparts for both synthetic and real-world datasets with varying levels of noise, highlighting the robustness and applicability of MSCBO. Based on our findings, we conclude that integrating MSBO with the causality principles of CBO facilitates dimensionality reduction and lowers operational costs, ultimately improving convergence speed, performance, and scalability.

研究の動機と目的

• 高次元の介入を複数の情報源にまたがって最適化する問題を動機付け、対処する。
• 因果知識を組み込み、最小で影響力のある介入セット（POMIS）を特定し次元を削減する。
• 源の忠実度・コスト・因果影響のバランスを取る体系的なアルゴリズムを開発し、効率を改善する。
• 合成および実世界のネットワークベンチマークを通じて頑健性とスケーラビリティを示す。

提案手法

• 因果モデリングを複数情報源のベイズ最適化と統合し、因果グラフを活用して探索空間を削減するMSCBO を形成する。
• アクイジション関数として複数情報源のKnowledge Gradient（CKG）を用い、最良の情報源と介入を選択する。
• 探索空間を剪定しスケーラビリティを向上させるために最小介入セット（POMIS）を計算する。
• 観測コストと介入コストを取り入れ、予算制約の最適化を行う。
• 探索と活用のバランスを取るためにε-greedy ポリシーを適用する。
• アルゴリズムの疑似コード（Algorithm 1）を提供し、更新には因果的ガウス過程（GP）モデルを採用する。

実験結果

リサーチクエスチョン

• RQ1 複数の情報源からの因果情報を組み込むことは、複数情報源ドメインにおけるベイズ最適化の収束速度と性能を向上させるか。
• RQ2 MSCBO は CBO および MSBO と比較して介入コストを削減しつつ最適化品質を維持または向上させることができるか。
• RQ3 POMIS ベースの探索空間剪定は高次元ネットワークのスケーラビリティにどのような影響を与えるか。
• RQ4 実世界風のベンチマークでノイズのある、または変更された因果構造に対して MSCBO はどの程度頑健か。

主な発見

• MSCBO は 単一情報源の CBO と比較して同等またはより良いコスト効率を達成し、しばしば MSBO よりもコスト面で優れている。これは賢い情報源選択と因果探索のおかげである。
• POMIS によって探索空間を削減し、E. coli ネットワークのような大規模ネットワークでのスケーラビリティを向上させる。
• MSCBO は一般に MSBO を上回る最適値に達するか、同等であり、ノイズに対して頑健で、データがノイズの多い場合や構造が変更された場合に因果情報が有利になる。
• PSA および E. coli の実験で、MSCBO は特に大規模で複雑なネットワークにおいて収束速度と予算処理の改善を示す。