[論文レビュー] Causal Bandits with Propagating Inference

Akihiro Yabe, Daisuke Hatano+5 more|arXiv (Cornell University)|Jun 6, 2018

Machine Learning and Algorithms被引用数 6

ひとこと要約

本稿は、因果グラフにおける任意の介入を扱う最初の因果バンディットアルゴリズムを提案する。伝搬推論を活用することで、$O(\sqrt{\gamma^{*}\log(|\mathcal{A}|T)/T})$ のレグレットバウンドを達成する。ここで $\gamma^{*}$ はグラフ構造に依存する。この手法により、$|\mathcal{A}| \gg T$ の場合に特に顕著な大規模な介入空間においても、介入効果を因果的伝搬でモデル化し、理論的保証を伴う保守的推定戦略を用いることで、効率的な探索が可能になる。

ABSTRACT

Bandit is a framework for designing sequential experiments. In each experiment, a learner selects an arm $A \in \mathcal{A}$ and obtains an observation corresponding to $A$. Theoretically, the tight regret lower-bound for the general bandit is polynomial with respect to the number of arms $|\mathcal{A}|$. This makes bandit incapable of handling an exponentially large number of arms, hence the bandit problem with side-information is often considered to overcome this lower bound. Recently, a bandit framework over a causal graph was introduced, where the structure of the causal graph is available as side-information. A causal graph is a fundamental model that is frequently used with a variety of real problems. In this setting, the arms are identified with interventions on a given causal graph, and the effect of an intervention propagates throughout all over the causal graph. The task is to find the best intervention that maximizes the expected value on a target node. Existing algorithms for causal bandit overcame the $Ω(\sqrt{|\mathcal{A}|/T})$ simple-regret lower-bound; however, their algorithms work only when the interventions $\mathcal{A}$ are localized around a single node (i.e., an intervention propagates only to its neighbors). We propose a novel causal bandit algorithm for an arbitrary set of interventions, which can propagate throughout the causal graph. We also show that it achieves $O(\sqrt{ γ^*\log(|\mathcal{A}|T) / T})$ regret bound, where $γ^*$ is determined by using a causal graph structure. In particular, if the in-degree of the causal graph is bounded, then $γ^* = O(N^2)$, where $N$ is the number $N$ of nodes.

研究の動機と目的

• 既存の因果バンディットアルゴリズムが親ノードにのみ影響する局所的介入に限定されているという制限を解消すること。
• 因果グラフ全体にわたって伝搬する任意の介入を処理できるバンディットアルゴリズムの開発。
• 腕の数 $|\mathcal{A}|$ に対して対数的にスケーリングするレグレットバウンドを達成すること。一般バンディットの $\Omega(\sqrt{|\mathcal{A}|/T})$ の下界を克服する。
• 誤差が因果グラフ全体に伝搬する中でも推定の正確性を維持できる理論的根拠に基づく手法の提供。
• $|\mathcal{A}| \gg T$ のような高次元の介入設定において、実験的に優れた性能を示すこと。

提案手法

• アルゴリズムは、因果グラフ上でdo-記法の操作として介入をモデル化し、構造方程式を通じて効果が伝搬することを想定する。
• 推定効果とその信頼区間の独立性を保つために、保守的推定戦略を導入する。
• 依存性に起因するバイアスを回避するため、切り捨て推定量 $\hat{\alpha}$ と別個の推定量 $\check{\alpha}'$ を用いる。
• ターゲットノードへの影響の大きさに基づいて介入を優先するための新規重み付け方式 $\eta_A$ を導入。活性な介入では $\eta_A = 1/C$、それ以外では 0 とする。
• グラフの構造的パrameter $\gamma^{*}$ に基づく信頼区間を採用。イン-degree が定数のとき、$\gamma^{*} = O(N^2)$ で有界である。
• 構造的制約下での誤差伝搬と信頼区間構築の新たな解析を用いて、理論的レグレットを導出する。

実験結果

リサーチクエスチョン

• RQ1 因果グラフ全体に伝搬する任意の介入（局所的介入に限らない）を処理できる因果バンディットアルゴリズムを設計できるか？
• RQ2 このような一般化された因果バンディット設定で達成可能な理論的レグレットバウンドは何か？
• RQ3 この一般化された設定において、腕の数 $|\mathcal{A}|$ とラウンド数 $T$ に対してレグレットはどのようにスケーリングするか？
• RQ4 $|\mathcal{A}| \gg T$ の場合でも、アルゴリズムが低レグレットを維持できるか？特に大規模な介入空間において。
• RQ5 グラフ構造、特にイン-degree と接続性は、達成可能なレグレットバウンドにどのように影響するか？

主な発見

• 提案手法は $O(\sqrt{\gamma^{*}\log(|\mathcal{A}|T)/T})$ のレグレットバウンドを達成し、$|\mathcal{A}|$ に対して対数的スケーリングする。一般バンディットの $\Omega(\sqrt{|\mathcal{A}|/T})$ の下界を著しく上回る。
• 因果グラフのイン-degree が有界である場合、$\gamma^{*} = O(N^2)$ となり、ノード数に対して非線形にスケーリングするレグレットバウンドが得られる。
• 合成実験では $|\mathcal{A}| = 12,870$ の介入と $T = 9C$ の条件下で、提案手法は低レグレットの増加を維持した一方、ベースラインは有効な探索が困難であった。
• Alarm データセットでは $|\mathcal{A}| = 3,796$ かつ $T \leq 464$ の条件下で、提案手法はベースラインと比較して 0.2 以上のレグレットギャップを達成し、高腕・低サンプル環境での優れた性能を示した。
• 合成的および実世界のインスタンスの両方において、提案手法はベースラインを常に上回った。特に $|\mathcal{A}|$ が $T$ よりも大きい場合に顕著であった。
• 実験結果から、腕の数が利用可能なサンプル数の30倍に達しても、アルゴリズムが依然として有効であることが示された。