[論文レビュー] Causal Bandits for Linear Structural Equation Models

Burak Varıcı, Karthikeyan Shanmugam+2 more|arXiv (Cornell University)|Aug 26, 2022

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本稿は、ソフト介入下での線形構造方程式モデル（SEMs）に対して、$2^N$個の介入分布を直接推定することを避けることで、$N$に線形に依存するSEMパラメータ（係数とノイズ分散）を推定する、新しい因果的バンディットアルゴリズムを提案する。頻度的（UCBベース）およびベイジアン（トレースフォースサンプリングベース）の両設定において、累積的レジストは$\tilde{O}(d^{L+1/2}\sqrt{NT})$を達成し、最小最大下界$\Omega(d^{L/2-2}\sqrt{T})$と一致する。これは、$T$、$d$、$L$に関して最適なスケーリングであることを確認する。

ABSTRACT

This paper studies the problem of designing an optimal sequence of interventions in a causal graphical model to minimize cumulative regret with respect to the best intervention in hindsight. This is, naturally, posed as a causal bandit problem. The focus is on causal bandits for linear structural equation models (SEMs) and soft interventions. It is assumed that the graph's structure is known and has $N$ nodes. Two linear mechanisms, one soft intervention and one observational, are assumed for each node, giving rise to $2^N$ possible interventions. Majority of the existing causal bandit algorithms assume that at least the interventional distributions of the reward node's parents are fully specified. However, there are $2^N$ such distributions (one corresponding to each intervention), acquiring which becomes prohibitive even in moderate-sized graphs. This paper dispenses with the assumption of knowing these distributions or their marginals. Two algorithms are proposed for the frequentist (UCB-based) and Bayesian (Thompson Sampling-based) settings. The key idea of these algorithms is to avoid directly estimating the $2^N$ reward distributions and instead estimate the parameters that fully specify the SEMs (linear in $N$) and use them to compute the rewards. In both algorithms, under boundedness assumptions on noise and the parameter space, the cumulative regrets scale as $ ilde{\cal O} (d^{L+\frac{1}{2}} \sqrt{NT})$, where $d$ is the graph's maximum degree, and $L$ is the length of its longest causal path. Additionally, a minimax lower of $Ω(d^{\frac{L}{2}-2}\sqrt{T})$ is presented, which suggests that the achievable and lower bounds conform in their scaling behavior with respect to the horizon $T$ and graph parameters $d$ and $L$.

研究の動機と目的

• 報酬ノードの親ノードの介入分布が未知である状況における、累積的レジストを最小化する課題に対処すること。
• 中程度のサイズのグラフにおいて$2^N$個の介入分布を推定するコストが著しく高いことを踏まえ、代わりにSEMパラメータの推定に焦点を当てる。
• ノード数$N$ではなく、グラフの最大次数$d$および最長因果経路長$L$に従ってスケーリングする効率的なアルゴリズムの開発。
• 最小最大下界と一致する理論的レジストバウンドの確立により、$T$、$d$、$L$に関するスケーリングの最適性を確認すること。
• 介入ノードの係数をゼロに設定し、$Z$項を用いて値を固定することで、LinSEM-UCBアルゴリズムをハード介入に対応させる。

提案手法

• 因果システムを、既知のDAG構造とソフト介入を伴う線形構造方程式モデル（LinSEM）でモデル化する。
• UCBベースおよびトレースフォースサンプリングベースのアルゴリズムを用い、$2^N$個の介入分布を直接推定する代わりに、SEMパラメータ（係数とノイズ分散）を推定する。
• 有界なノイズとパrameter空間の仮定に基づき、推定されたSEMパラメータの信頼集合を構築する。
• SEM構造を用いて期待報酬を計算し、各ノードから報酬ノードへの経路特有の効果を活用する。
• 介入ノードの係数をゼロに設定し、$Z$項を用いて値を固定することで、LinSEM-UCBアルゴリズムをハード介入に対応させる。
• 濃度不等式およびマルティンゲールの議論を用いて、推定誤差およびレジストに関する高確率バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 $2^N$個の介入分布の推定を回避しつつ、サブ線形なレジストを達成できる因果的バンディットアルゴリズムを設計できるか？
• RQ2 グラフの最大次数$d$および最長因果経路長$L$に関して、最適なレジストスケーリングは何か？
• RQ3 介入分布が未知である状況において、提案手法は既存手法と比較してどのように性能を発揮するか？
• RQ4 理論的レジストバウンドが最小最大下界と一致するか？ これにより最適性が確認されるか？
• RQ5 報酬がエッジ重みに対して非線形に依存する場合、線形バンディットスタイルのアルゴリズムの設計にどのような影響を与えるか？

主な発見

• 提案されたUCBベースおよびトレースフォースサンプリングベースのアルゴリズムは、累積的レジスト$\tilde{O}(d^{L+1/2}\sqrt{NT})$を達成し、時間枠$T$に関してサブ線形にスケーリングされる。
• 最小最大下界$\Omega(d^{L/2-2}\sqrt{T})$が確立され、バウンドが対数要因を除いて最適であることが示された。
• レジストのスケーリングは$T$、$d$、$L$に関して下界と一致しており、提案手法が情報理論的に最適であることが示された。
• 経路の重複による乗算的効果のため、報酬はエッジ重みに対して非線形に依存し、線形バンディット手法の直接適用は無効である。
• $N=10$ノードおよび5,000件のサンプルでさえも、観測変数に対する報酬の線形回帰で顕著な非線形性が確認され、構造的モデリングの必要性が裏付けられた。
• 介入ノードの係数をゼロに設定し、SEMパラメータ行列$\mathbf{B}^*$を固定値とゼロの親依存性を反映させるように変更することで、ハード介入下でもアルゴリズムの有効性が保たれる。