[論文レビュー] Causal Bandits without prior knowledge using separating sets

Arnoud A. W. M. de Kroon, Danielle Belgrave+1 more|arXiv (Cornell University)|Sep 16, 2020

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿では、因果的構造や介入分布に関する事前知識を必要とせず、条件付き独立性検定や因果発見手法を用いてデータから分離集合を学習する因果的バンディットアルゴリズムを提案する。このアプローチにより、交絡要因やサイクルが存在する状況下でも構造的依存関係を活用でき、離散的・ガウス型のモデルにおいてレギュラス性能が向上し、シミュレーションおよび実世界のタンパク質シグナル伝達データにおいて、古典的バンディット手法を上回る性能を示す。

ABSTRACT

The Causal Bandit is a variant of the classic Bandit problem where an agent must identify the best action in a sequential decision-making process, where the reward distribution of the actions displays a non-trivial dependence structure that is governed by a causal model. Methods proposed for this problem thus far in the literature rely on exact prior knowledge of the full causal graph. We formulate new causal bandit algorithms that no longer necessarily rely on prior causal knowledge. Instead, they utilize an estimator based on separating sets, which we can find using simple conditional independence tests or causal discovery methods. We show that, given a true separating set, for discrete i.i.d. data, this estimator is unbiased, and has variance which is upper bounded by that of the sample mean. We develop algorithms based on Thompson Sampling and UCB for discrete and Gaussian models respectively and show increased performance on simulation data as well as on a bandit drawing from real-world protein signaling data.

研究の動機と目的

• 因果的構造や介入分布に関する事前知識を必要としない因果的バンディットアルゴリズムの開発。
• 分離集合を用いた構造的依存関係の活用により、逐次的意思決定における性能向上の実現。
• 観測データおよび介入データから、条件付き独立性検定を用いて分離集合を直接推定できることの実証。
• 提案された推定器が有界な分散を示し、構造的環境下で古典的バンディットアルゴリズムを上回ることの証明。

提案手法

• 本手法は、文脈変数 I ⊥⊥ Y | S を満たす分離集合 S を用い、介入間での情報共有を可能にする。
• 収集したデータに対して条件付き独立性検定を用いて分離集合の性質を推定し、包括的な因果発見を避ける代わりに的を絞った検定を実施する。
• 離散的モデルでは、分離集合に基づく推定器を用いたトマソンサンプリングを採用し、分散を低減する。
• 線形ガウス型モデルでは、UCB-normalを変更して分離集合の情報を組み込み、より良いレギュラスバウンドを達成する。
• 因果発見アルゴリズムの結果が利用可能な場合、それらを統合することで、テスト誤りに対するロバストネスを向上させる。
• 観測データを活用して条件付き独立性検定の誤りを是正し、信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 因果的バンディットアルゴリズムは、因果グラフや介入分布に関する事前知識がなくても、より良いレギュラス性能を達成できるか？
• RQ2 オンラインで逐次的意思決定の文脈において、分離集合をデータからどのように推定できるか？
• RQ3 離散的設定における提案された推定器の分散は、標本平均と比較してどのように振る舞うか？
• RQ4 分離集合を活用することで、複雑な依存関係を示す実世界の生物学的データにおいて性能が向上するか？
• RQ5 観測データと介入データを組み合わせることで、分離集合の検出精度はどのように変化するか？

主な発見

• 離散変数に対する提案された推定器は、標本平均の分散以上に上界が与えられ、安定した性能を確保する。
• 4ノードのDAGが234個のシミュレーションにおいて、分離集合推定を用いたアルゴリズムは、古典的バンディットベースラインと比較して累積レギュラスを顕著に低減した。
• Sachs らのタンパク質シグナル伝達データにおいて、Causal UCB-Normal アルゴリズムは従来のUCBを上回り、特に1000～4000イテレーションの間で顕著な性能向上を示した。
• ASD-JCI123kt の変異体は、直接的なテストよりも追加の観測サンプルからより大きな利益を得ており、誤り是正の向上が示された。
• 真の分離集合が存在しない場合でも、この手法はわずかなペナルティしか発生せず、誤検出に対するロバストネスを示した。
• 本フレームワークは、分離集合が構造的因果バンディットにおける強力なインダクティブバイアスとして機能できることを示した。これは、バイアス・バリアンスのトレードオフの改善に寄与する。