[論文レビュー] Causal Bandits without Graph Learning

Mikhail Konobeev, Jalal Etesami+1 more|arXiv (Cornell University)|Jan 26, 2023

Advanced Bandit Algorithms ResearchDecision Sciences被引用数 3

ひとこと要約

本稿では、因果的バンディットにおける因果グラフの事前知識がなくても報酬変数の親ノードを同定するためのアルゴリズムであるRAndomized Parent Search（raps）を提案する。原子的介入を用いて干渉の複雑さを最適化し、正確な期待干渉回数を導出し、普遍的な下界を用いて最適性を証明する。一般条件下では部分線形スケーリングを達成し、特定のグラフ的仮定下では対数的スケーリングを達成する。

ABSTRACT

We study the causal bandit problem when the causal graph is unknown and develop an efficient algorithm for finding the parent node of the reward node using atomic interventions. We derive the exact equation for the expected number of interventions performed by the algorithm and show that under certain graphical conditions it could perform either logarithmically fast or, under more general assumptions, slower but still sublinearly in the number of variables. We formally show that our algorithm is optimal as it meets the universal lower bound we establish for any algorithm that performs atomic interventions. Finally, we extend our algorithm to the case when the reward node has multiple parents. Using this algorithm together with a standard algorithm from bandit literature leads to improved regret bounds.

研究の動機と目的

• 因果バンディットの文献において因果グラフが事前に既知であると仮定されているという制限に対処すること。
• 因果グラフやそのエッセンシャルグラフの知識を必要とせず、原子的介入のみを用いて報酬変数の親ノードを効率的に同定するアルゴリズムの開発。
• 任意のDAGにおけるアルゴリズムの正確な期待干渉回数を導出し、理論的最適性を確立すること。
• 複数の報酬親ノードを扱えるようにこの手法を拡張し、標準的なバンディットアルゴリズムを用いてレグルレーションバウンドを改善すること。

提案手法

• rapsアルゴリズムは、介入されたノードが報酬ノードの祖先かどうかをテストすることで、報酬変数の親ノードを特定するランダム化された原子的介入を実行する。
• 各介入から得られる結果に基づく統計的検定を用い、ノードが報酬ノードの祖先かどうかを判断する。各介入から完全な情報を得られると仮定する。
• グラフ構造と親ノードを正しく同定する確率に基づいた閉形式式を用いて、干渉回数の正確な期待値を導出する。
• 同じ原則を繰り返し適用することで複数の親ノードを扱えるように拡張し、干渉複雑性に関する理論的保証を提供する。
• rapsとUpper Confidence Bound（UCB）バンディットアルゴリズムを組み合わせることで、因果バンディット設定におけるレグルレーションバウンドを改善する。
• 理論的分析により、rapsが干渉複雑性の普遍的下界を満たしており、最適性が保証されることを証明する。

実験結果

リサーチクエスチョン

• RQ1 因果グラフの事前知識がなくても、報酬変数の親ノードを同定できるアルゴリズムを設計できるか？
• RQ2 このようなアルゴリズムが任意のDAGで必要とする原子的介入の正確な期待回数は何か？
• RQ3 どのようなグラフ的条件下で干渉複雑性が変数の数に対して対数的または部分線形にスケーリングするか？
• RQ4 提案されたアルゴリズムは干渉複雑性の観点で最適であり、普遍的下界と比較してどのように異なるか？
• RQ5 アルゴリズムは複数の報酬親ノードを扱えるように拡張可能か？また、どのようなレグルレーションバウンドの改善が達成できるか？

主な発見

• rapsアルゴリズムは、本稿で導出した普遍的下界と一致することで、情報理論的に最適な干渉複雑性を達成する。
• エッジ確率 $ p = 1 - \left(\frac{0.5}{\log_2 n - 1}\right)^{1/(\log_2 n - 1)} $ のエローズ＝レニー確率的DAGでは、期待干渉回数は $ \mathcal{O}(\log n) $ にスケーリングする。
• エッジ確率 $ p = \frac{\log n}{n} $ のエローズ＝レニー確率的DAGでは、期待干渉回数は $ \frac{n}{\log n} $ にスケーリングし、これは部分線形だが対数的スケーリングより遅い。
• 報酬ノードに $ |\mathcal{P}| $ 個の親ノードがある場合、干渉複雑性は $ (|\mathcal{P}| + 1)\log n $ に比例し、この手法のスケーラビリティを確認する。
• 実験結果では、理論的式で予測された期待干渉回数が、$ n = 1000 $ のエローズ＝レニー確率的DAGにおいて20回の実行で得られた実験平均と一致する。
• raps + UCBの組み合わせは、UCB単体と比較して改善されたレグルレーションバウンドを達成するが、バジェットや問題パラメータに依存するため、分散が高くなる。