[論文レビュー] Causal Bayesian Optimization

Virginia Aglietti, Xiaoyu Lu+2 more|arXiv (Cornell University)|May 24, 2020

Machine Learning in Materials Science参考文献 2被引用数 6

ひとこと要約

本稿では、構造的因果モデルのdo-計算をベイズ最適化と統合することで、複雑なシステムにおける最適な介入を効率的に同定するCausal Bayesian Optimization (CBO) を提案する。do-計算により導出された介入分布を活用することで、CBOは、介入コスト構造や因果的依存関係が変化する状況においても、標準的なベイズ最適化よりも収束速度と介入の質において優れる。

ABSTRACT

This paper studies the problem of globally optimizing a variable of interest that is part of a causal model in which a sequence of interventions can be performed. This problem arises in biology, operational research, communications and, more generally, in all fields where the goal is to optimize an output metric of a system of interconnected nodes. Our approach combines ideas from causal inference, uncertainty quantification and sequential decision making. In particular, it generalizes Bayesian optimization, which treats the input variables of the objective function as independent, to scenarios where causal information is available. We show how knowing the causal graph significantly improves the ability to reason about optimal decision making strategies decreasing the optimization cost while avoiding suboptimal solutions. We propose a new algorithm called Causal Bayesian Optimization (CBO). CBO automatically balances two trade-offs: the classical exploration-exploitation and the new observation-intervention, which emerges when combining real interventional data with the estimated intervention effects computed via do-calculus. We demonstrate the practical benefits of this method in a synthetic setting and in two real-world applications.

研究の動機と目的

• 複雑な因果的依存関係を有するシステムにおいて、最適な介入を効率的に同定する課題に対処すること。
• do-計算をベイズ最適化に統合し、介入の影響を正確にモデル化すること。
• 獲得関数に因果構造を組み込むことで最適化の効率を向上させること。
• 固定、変動、非線形な介入コストを含むさまざまなコスト設定下での性能を評価すること。
• 合成および実世界の例において、標準的なベイズ最適化に比べて因果に配慮した最適化が優れていることを示すこと。

提案手法

• 構造的因果モデル（SCM）上でdo-計算を用いて介入分布を導出し、任意の介入集合に対して p(y|do(do(X)=x)) を計算する。
• do-計算からの条件付き独立性仮定（例：G_B̄C̄ における Y ⊥⊥ C | B）を活用して、介入分布を簡略化する。
• 結果関数 f(x) = E[Y|do(X=x)] をモデル化するため、因果構造を組み込んだガウス過程モデル（GP+）を用いる。
• do-介入を考慮した因果ガウス過程事前分布を用いることで、介入結果の事後分布推論を正確に行う。
• 獲得関数にコスト関数を統合し、固定、異なる、または変動する介入コスト下での最適化を可能にする。
• 因果グラフと構造方程式モデル（SEMs）が既知の合成、医療、生態学的データセットに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 do-計算をベイズ最適化に効果的に統合することで、介入探索の効率が向上するか？
• RQ2 さまざまなコスト構造下で、CBOは標準的なベイズ最適化と比べてどのように性能を発揮するか？
• RQ3 ガウス過程事前分布に因果構造をモデル化することで、収束速度の向上とより優れた介入品質が達成されるか？
• RQ4 非線形的で非対称的なコストが変動する状況において、CBOはどの程度頑健か？
• RQ5 因果構造の組み込みが、結果予測の精度と最適な介入同定の正確性に与える影響は何か？

主な発見

• すべての合成実験設定において、因果ガウス過程モデル（GP+）を用いたCBOは、標準BOよりも顕著に高速に収束する。
• 合成実験では、CBOにGP+を適用した場合、等価コストおよび異なる固定コスト下でも100イテレーション以内に最適なY*に到達し、標準BOを上回る。
• 変動コスト（Co(X,x) = c + |x|）下でも、CBOにGP+を適用した場合、非線形コスト関数に対して優れた性能を維持し、頑健性を示す。
• 因果ガウス過程モデルは構造的依存関係を組み込むことで、結果予測の不確実性を低減し、より正確な介入提案を可能にする。
• 医療例では、CBOは因果制約を尊重しながら、PSA値を最大化する最適なスタチンおよびアスピリンの介入を同定した。
• 生態学的例では、CBOは網状生態系の石灰化量（nec）を最大化する最適な環境的介入を効率的に同定し、実世界のシステムへのスケーラビリティを検証した。