[論文レビュー] Causal Bandits with Unknown Graph Structure

Yangyi Lu, Amirhossein Meisami+1 more|arXiv (Cornell University)|Jun 5, 2021

Advanced Bandit Algorithms Research参考文献 32被引用数 6

ひとこと要約

本稿では、因果グラフ構造の事前知識がなくても動作する因果バンディットアルゴリズムを提案し、報酬フィードバックとジャンクションツリー分解を用いた構造的同定を実現する。主な貢献は、やや弱い同定可能性の仮定のもとで、変数の数に対して対数的にスケーリングするレグレットバウンドを達成することであり、これは標準的なマルチアームバンディット（MAB）アルゴリズムと比べて顕著に改善されたものである。また、下界を用いてこれらの仮定が必要であることが示されている。

ABSTRACT

In causal bandit problems, the action set consists of interventions on variables of a causal graph. Several researchers have recently studied such bandit problems and pointed out their practical applications. However, all existing works rely on a restrictive and impractical assumption that the learner is given full knowledge of the causal graph structure upfront. In this paper, we develop novel causal bandit algorithms without knowing the causal graph. Our algorithms work well for causal trees, causal forests and a general class of causal graphs. The regret guarantees of our algorithms greatly improve upon those of standard multi-armed bandit (MAB) algorithms under mild conditions. Lastly, we prove our mild conditions are necessary: without them one cannot do better than standard MAB algorithms.

研究の動機と目的

• 因果グラフ構造の事前知識を必要としない因果バンディットアルゴリズムの開発。
• 大規模な行動集合を有する設定において、標準的なマルチアームバンディット（MAB）アルゴリズムを上回るレグレット保証を達成すること。
• 因果バンディット学習が非因果的手法を上回るための最小限の構造的仮定を同定すること。
• 因果木を越えて、因果フォレストや適切な区間グラフを含むより広範なクラスの因果グラフへとアプローチを一般化すること。
• 提案された仮定が必要であることを示すために、一致する下界を確立すること。

提案手法

• 報酬フィードバックと木構造を活用して報酬の直接的原因を同定する、新規アルゴリズムである中央ノードUCB（CN-UCB）を提案。
• 因果グラフのマルコフ同値類を表現するために無向クライーク（ジャンクション）ツリーを用い、効率的な探索を可能にする。
• 同定された直接的原因に対応する縮小された干渉集合に対してUCBスタイルの探索を適用し、レグレットを最小化する。
• 二段階手順を採用：第一に、構造的制約を用いて報酬の直接的原因を同定する。第二に、縮小された行動集合に対してバンディットアルゴリズムを適用する。
• 干渉からの因果効果および報酬構造が学習可能であることを保証するための同定可能性仮定（仮定2および3）を導入。
• ジャンクションツリー分解を用いて一般因果グラフへとフレームワークを拡張し、変数の数に対して対数的にスケーリングするレグレットバウンドを証明。

実験結果

リサーチクエスチョン

• RQ1 因果グラフが未知である状況下で、因果バンディットアルゴリズムは標準的なMABアルゴリズムを上回るレグレットを達成できるか？
• RQ2 因果グラフの構造的仮定として、未知のグラフ構造なしに改善されたレグレット性能を達成するために必要な十分な条件は何か？
• RQ3 完全な因果グラフ回復なしに、干渉データから報酬の直接的原因を効率的に同定できるか？
• RQ4 因果グラフが木、フォレスト、またはより一般的なグラフクラスである場合、レグレットは変数の数にどのように依存するか？
• RQ5 改善されたレグレットを達成するための提案仮定は必要であり、それらを緩和できるか？

主な発見

• 提案されたCN-UCBアルゴリズムは、レグレットバウンド Õ((d(𝒯_{G_R})ω(G_R) + ∑_{G∈CC(ℰ(D))} ω(G))K max{1/Δ², 1/ε²} log n log C_max + √(ω(G_R)KT)) を達成し、これはnに対して対数的にスケーリングする。
• 因果木および因果フォレストの設定では、レグレットバウンドは Õ(K log n / Δ²) に簡略化され、これは標準的なMABアルゴリズムのnの多項式的スケーリングと比べて顕著に優れている。
• 最大次数 d(𝒯_{G_R}) およびクライーク数 ω(G) が小さい場合には、アルゴリズムは標準的なMAB手法を上回る性能を示す。
• 下界の結果から、仮定2（因果効果の同定可能性）または仮定3（報酬の同定可能性）がなければ、レグレットは Ω(√(nKT)) に達し、これは提案手法と比べて指数的に悪くなることが示された。
• 正確な因果グラフ回復は必要ではなく、報酬の直接的原因の同定のみで十分であることが実証された。
• 理論的保証がタイトであることが示されており、最小最大下界を用いて必要な仮定であることが確認された。