[論文レビュー] Regret Analysis of Bandit Problems with Causal Background Knowledge

Yangyi Lu, Amirhossein Meisami+2 more|arXiv (Cornell University)|Oct 11, 2019

Advanced Bandit Algorithms Research参考文献 15被引用数 6

ひとこと要約

本稿では、因果グラフを活用して累積リグレットを低減する因果バンディットアルゴリズム—Causal UCB（C-UCB）とCausal Thompson Sampling（C-TS）—を提案する。因果構造を活用することで、リグレットのスケーリングが介入空間全体ではなく、報酬の直接的要因の数（$n$）に依存するようになり、数100回の反復ですでに3倍のリグレット低減が達成される。

ABSTRACT

We study how to learn optimal interventions sequentially given causal information represented as a causal graph along with associated conditional distributions. Causal modeling is useful in real world problems like online advertisement where complex causal mechanisms underlie the relationship between interventions and outcomes. We propose two algorithms, causal upper confidence bound (C-UCB) and causal Thompson Sampling (C-TS), that enjoy improved cumulative regret bounds compared with algorithms that do not use causal information. We thus resolve an open problem posed by \cite{lattimore2016causal}. Further, we extend C-UCB and C-TS to the linear bandit setting and propose causal linear UCB (CL-UCB) and causal linear TS (CL-TS) algorithms. These algorithms enjoy a cumulative regret bound that only scales with the feature dimension. Our experiments show the benefit of using causal information. For example, we observe that even with a few hundreds of iterations, the regret of causal algorithms is less than that of standard algorithms by a factor of three. We also show that under certain causal structures, our algorithms scale better than the standard bandit algorithms as the number of interventions increases.

研究の動機と目的

• 高次元の介入空間を伴うバンディット問題における挑戦に応えること。標準的手法ではリグレットのスケーリングが劣悪になる。
• Lattimoreら（2016）が提起した未解決問題を解決し、因果構造を活用して$\tilde{O}(\sqrt{T})$の累積リグレットを達成するアルゴリズムを設計すること。
• 因果バンディット手法を線形バンディット設定に拡張し、介入が低次元の特徴でパrameter化される場合に、効率的な学習を可能にすること。
• 実世界のメールキャンペーンおよび合成的設定において、因果アルゴリズムが標準的手法を著しく上回ることを実証的に示すこと。

提案手法

• do-計算と介入分布を用いて、探索をガイドする因果グラフを上界信頼区間（UCB）およびトムソンサンプリング（TS）フレームワークに統合する。
• 介入を観測変数へのdo-介入として定義し、因果グラフから導出された構造方程式によって報酬を決定する。
• C-UCBでは信頼区間を、C-TSでは事後サンプリングを用い、不確実性を因果構造に基づいて情報化することで、重複する探索を低減する。
• 線形バンディットの場合、報酬を特徴量の線形関数としてモデル化し、因果正則化を適用してリグレットを$\tilde{O}(d\sqrt{T})$に低減する。ここで$d$は特徴量次元である。
• 親変数の条件付き分布を組み込み、介入下での期待報酬および不確実性推定値を計算する。
• 報酬に与える因果的影響が大きい変数の介入を優先することで、探索と活用の動的バランスを図るアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 多腕バンディット問題において、標準的手法よりもタイトな累積リグレット境界を達成するために、因果構造を活用できるか？
• RQ2 直接的要因の数（$n$）が全変数数（$N$）に比べて小さい場合、C-UCBやC-TSといった因果バンディットアルゴリズムが$\tilde{O}(\sqrt{T})$のリグレットスケーリングを達成できるか？
• RQ3 因果構造がスパースな場合、介入数の増加に伴って因果バンディットアルゴリズムの性能はどのようにスケーリングするか？
• RQ4 高次元特徴空間においても低リグレットを維持できるように、因果バンディット手法を線形バンディット設定に拡張できるか？
• RQ5 メールキャンペーンのような複雑な介入空間を伴う実世界の応用において、因果アルゴリズムは標準的なUCBおよびTSをどの程度上回るか？

主な発見

• C-UCBおよびC-TSは、報酬の直接的要因数$n$を用いて、累積リグレット境界$\tilde{O}(\sqrt{k^n T})$を達成する。これは、標準的手法が$(k+1)^N$に比例してスケーリングするのと比較して顕著に改善されている。
• 合成実験では、変数数（$n$）が増加するに従い、因果アルゴリズムのリグレットは標準的UCBおよびTSよりもはるかにゆっくりと増加し、特定の係数設定では$\tilde{O}(\sqrt{n})$の成長率にまで低下する。
• メールキャンペーン実験では、数100回の反復後、因果アルゴリズムが標準的UCBおよびTSと比較してリグレットを3倍低減した。
• 因果線形バンディット拡張（CL-UCBおよびCL-TS）は、特徴量次元$d$を用いて$\tilde{O}(d\sqrt{T})$のリグレット境界を達成し、高次元設定におけるスケーラビリティを示している。
• トムソンサンプリングの変種（C-TSおよびCL-TS）は、合成的および実世界の両方の実験で、それに対応するUCB対比手法を一貫して上回った。これは、先行する経験的知見と整合的である。
• グラフによって得られる因果構造により、探索すべき介入の有効数が減少し、全介入空間が大きくても最適方策への収束が高速化された。