[論文レビュー] Causal Bandits: Learning Good Interventions via Causal Inference

Finnian Lattimore, Tor Lattimore+1 more|arXiv (Cornell University)|Jun 10, 2016

Advanced Bandit Algorithms Research参考文献 29被引用数 38

ひとこと要約

本稿では、因果推論とマルチアームバンディットを統合する枠組み「因果バンディット」を導入し、非干渉変数からの観測データを活用することで、最適な干渉の学習を加速する。提案手法は、$ ilde{O}( extstyle oot{m/T} floor)$ のシンプルなレグレットバウンドを達成する。ここで $m$ は因果グラフから導かれる構造的複雑度の指標であり、古典的手法が $ extstyle oot{N/T} floor$ のレグレットを示すのと比べて顕著に改善されている。

ABSTRACT

We study the problem of using causal models to improve the rate at which good interventions can be learned online in a stochastic environment. Our formalism combines multi-arm bandits and causal inference to model a novel type of bandit feedback that is not exploited by existing approaches. We propose a new algorithm that exploits the causal feedback and prove a bound on its simple regret that is strictly better (in all quantities) than algorithms that do not use the additional causal information.

研究の動機と目的

• 干渉が報酬と既知の因果グラフからの観測データに基づいて選択される新しいバンディット問題のクラスを形式化すること。
• 1ラウンドに1つの変数しか干渉できないが、他の変数は観測可能な状況において、最適な干渉を効率的に学習する課題に取り組むこと。
• 因果構造を活用することで、観測データを無視するか、それを文脈として扱うのと比較して、理論的に優れたレグレットバウンドが得られることを示すこと。
• 独立要因に限らない複雑な干渉・観測関係において因果フィードバックを活用する一般化されたアルゴリズムを構築すること。

提案手法

• フレームワークは、バンディット設定におけるアームとして干渉をモデル化し、報酬と追加の観測変数が既知の因果グラフに従うように設定する。
• 観測データを用いた干渉効果の推定における選択バイアスを補正するために、重要度サンプリングに基づく推定器を用いる。
• 並列バンディット問題（独立要因）に対しては、2段階戦略を採用する：固定設計による探索と、信頼区間に基づく非最適アームの除外。
• アルゴリズムは因果構造に応じてサンプルを動的に割り当て、報酬分布に関する最も有益なフィードバックを得られる干渉を優先する。
• 介入的および観測的分布を関数としてモデル化することで、任意の因果グラフに適応可能な一般化された因果バンディットアルゴリズムを提案する。
• 最小最大レグレット分析を組み込み、因果モデルの構造を考慮することで、$m$（因果的複雑度の指標）に依存するレグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 因果モデルを活用することで、オンライン学習環境における干渉選択のサンプル効率を向上させられるか？
• RQ2 干渉されない観測変数を含めると、古典的手法と比較してバンディット問題におけるレグレットバウンドにどのような影響を与えるか？
• RQ3 バンディット学習において因果フィードバックを用いることで、無視するか文脈として扱うのと比較して、理論的性能にどの程度の向上が得られるか？
• RQ4 独立要因を越えた複雑な因果フィードバック構造を活用できる一般アルゴリズムを設計できるか？
• RQ5 因果グラフの構造的複雑度（$m$ で測定）は、干渉学習における最小最大レグレットにどのように影響するか？

主な発見

• 提案された因果バンディットアルゴリズムは、$ ilde{O}( extstyle oot{m/T} floor)$ のシンプルなレグレットバウンドを達成する。これは、$m \leq N$ であるのに対し、標準バンディット手法の $ extstyle oot{N/T} floor$ のバウンドよりも厳密に優れている。
• 並列バンディット設定では、$m = N$ の場合、アルゴリズムのレグレットは対数要因を除き最小最大最適であり、非因果的手法に理論的に優位であることを示している。
• アルゴリズムは、観測を事前文脈ではなく、干渉後のフィードバックとして扱うため、文脈バンディット手法を上回る性能を示している。
• 実験により、因果フィードバックを用いることで、高報酬干渉が特定される速度が顕著に向上することが確認された。
• レグレットバウンドは、$m$（因果グラフの構造的指標）に比例する。$m$ は $N$（干渉の数）よりもはるかに小さくなることがあるため、因果構造がより速い学習を可能にしていることが示唆される。
• フレームワークは、観測されない変数や部分的に既知の因果グラフの状況にも一般化可能であるが、介入分布の推定は依然として未解決の課題である。