[論文レビュー] Probabilistic Active Learning of Functions in Structural Causal Models

Paul K. Rubenstein, Ilya Tolstikhin+2 more|arXiv (Cornell University)|Jun 30, 2017

Bayesian Modeling and Causal Inference参考文献 11被引用数 5

ひとこと要約

本稿では、因果グラフが既知である状態で、構造的因果モデル（SCM）における関数的関係を学習するためのベイジアンアクティブラーニングフレームワークを提案する。未知の関数をガウス過程でモデル化し、すべての未知関数に関する同時情報量の増加を最大化するように介入を選択するマクロ的アクティブラーニング戦略を用いることで、鎖構造および非鎖構造を持つ合成SCMにおいて、受動的またはランダムな介入ベースラインと比較して、より高速かつ構造的な関数学習を達成する。

ABSTRACT

We consider the problem of learning the functions computing children from parents in a Structural Causal Model once the underlying causal graph has been identified. This is in some sense the second step after causal discovery. Taking a probabilistic approach to estimating these functions, we derive a natural myopic active learning scheme that identifies the intervention which is optimally informative about all of the unknown functions jointly, given previously observed data. We test the derived algorithms on simple examples, to demonstrate that they produce a structured exploration policy that significantly improves on unstructured base-lines.

研究の動機と目的

• 因果グラフが特定された後の構造的因果モデル（SCM）における関数的関係の学習問題に対処すること。
• すべての未知関数に関する同時情報量の増加を最大化するように介入を選択するアクティブラーニング戦略の開発。
• 実験を合理的に誘導することで、受動的またはランダムな方法よりも標本効率を向上させること。
• 因果関数学習における介入コストと情報量の増加のトレードオフを形式化すること。

提案手法

• 未知の構造的関数をベイジアン非パrametricアプローチを用いてガウス過程（GPs）でモデル化する。
• すべての未知関数の同時事後分布に関する期待情報量の増加を最大化するように介入を選択するマクロ的アクティブラーニング方策を定義する。
• 事後分布の不確実性とモデル適合度を測定するために、カルバック・ライバラー（KL）ダイバージェンスと最大平均差（MMD）を指標として用いる。
• 鎖構造SCMでは動的計画法を、一般のDAGではモンテカルロサンプリングを用いて最適な介入選択を実行する。
• リスク関数に介入コストを統合し、情報量の増加と実験費用の両者をバランスさせる。
• 介入ごとの学習性能を評価するための代理目的関数として、総リスク関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 複数の未知の構造的関数を同時に学習するため、どのように最適な介入を選択できるか。
• RQ2 事前観測に基づいて、すべての未知関数に関する同時情報量の増加を最大化するアクティブラーニング戦略は何か。
• RQ3 構造的介入選択は、受動的観測やランダム介入と比較して、学習速度と精度の面でどのように異なるか。
• RQ4 ベイジアンGPベースのモデリングは、任意のDAG構造を持つSCMにおいて、効率的かつスケーラブルなアクティブラーニングを可能にするか。
• RQ5 アクティブ因果モデリングにおける関数学習の質を最もよく反映する指標は何か。

主な発見

• 提案されたアクティブラーニングアルゴリズム（アルゴリズム1および2）は、鎖構造および非鎖構造SCMの両方において、真の総リスクを著しく低減し、受動的観測およびランダム介入を上回る。
• 真の分布と推定された分布との間の最大および中央値のKLダイバージェンスが減少し、事後分布の精度が向上していることが示された。
• 最大および中央値のMMD値も時間経過とともに減少し、推定された介入分布が真の分布に収束していることが確認された。
• 鎖構造SCM（M1）では、動的計画法に基づくアルゴリズム1が、サンプリングに基づくアルゴリズム2よりも高速に収束した。
• 非鎖構造SCM（M2）では、サンプリングに基づくアルゴリズム2が、すべての評価指標でランダムおよび受動的戦略を上回り、構造的複雑性に対して高いロバストネスを示した。