[論文レビュー] Causal Markov Decision Processes: Learning Good Interventions Efficiently

Yangyi Lu, Amirhossein Meisami+1 more|arXiv (Cornell University)|Feb 15, 2021

Advanced Bandit Algorithms Research参考文献 19被引用数 6

ひとこと要約

本稿では、因果構造を順序的意思決定に統合することで強化学習における後悔を低減する枠組みである因果的マルコフ決定過程（C-MDPs）を提案する。介入をモデル化するための因果グラフを活用することで、提案されたC-UCBVIアルゴリズムは、$\tilde{O}(HS\sqrt{ZT})$ の後悔バウンドを達成する。ここで $Z$ は因果グラフに依存する量であり、行動空間のサイズ $A$ よりも指数的に小さくなる可能性があるため、高次元の介入空間における効率的な学習が可能になる。

ABSTRACT

We introduce causal Markov Decision Processes (C-MDPs), a new formalism for sequential decision making which combines the standard MDP formulation with causal structures over state transition and reward functions. Many contemporary and emerging application areas such as digital healthcare and digital marketing can benefit from modeling with C-MDPs due to the causal mechanisms underlying the relationship between interventions and states/rewards. We propose the causal upper confidence bound value iteration (C-UCBVI) algorithm that exploits the causal structure in C-MDPs and improves the performance of standard reinforcement learning algorithms that do not take causal knowledge into account. We prove that C-UCBVI satisfies an $ ilde{O}(HS\sqrt{ZT})$ regret bound, where $T$ is the the total time steps, $H$ is the episodic horizon, and $S$ is the cardinality of the state space. Notably, our regret bound does not scale with the size of actions/interventions ($A$), but only scales with a causal graph dependent quantity $Z$ which can be exponentially smaller than $A$. By extending C-UCBVI to the factored MDP setting, we propose the causal factored UCBVI (CF-UCBVI) algorithm, which further reduces the regret exponentially in terms of $S$. Furthermore, we show that RL algorithms for linear MDP problems can also be incorporated in C-MDPs. We empirically show the benefit of our causal approaches in various settings to validate our algorithms and theoretical results.

研究の動機と目的

• 行動／介入空間のサイズが指数的に大きくなる場合に生じる次元の呪いに対処すること。
• 状態遷移と報酬に因果構造を組み込む新しいMDPフレームワーク、因果的MDP（C-MDPs）を形式化すること。
• 行動数 $A$ に依存しない後悔を低減するための強化学習アルゴリズム、C-UCBVI を開発すること。
• 要因分解MDPの技術と組み合わせることで、状態空間サイズ $S$ への依存をさらに低減するCF-UCBVIを提案すること。
• 理論的改善を、介入空間と状態空間の次元を変化させた合成環境で実験的に検証すること。

提案手法

• 介入、重要な変数、およびそれらが状態遷移と報酬に与える影響を記述する因果グラフを埋め込んだ因果的MDP（C-MDPs）を提唱する。
• 因果構造を用いて探索を誘導し、後悔を低減する因果的上界信頼区間値反復（C-UCBVI）アルゴリズムを設計する。
• 行動空間のサイズ $A$ の代わりに、異なる親変数の組み合わせの数を表す因果グラフ依存量 $Z$ を定義し、後悔バウンドに用いる。
• C-UCBVIを要因分解MDP技術と統合し、状態空間サイズ $S$ への依存を低減する因果的要因分解UCBVI（CF-UCBVI）アルゴリズムを構築する。
• C-UCBVIが $A$ に依存しない $\tilde{O}(HS\sqrt{ZT})$ の後悔バウンドを達成することを証明し、CF-UCBVIが $S$ への明示的依存を排除することを示す。
• 線形関数近似の設定に因果構造を統合することで、線形MDPへのフレームワークの拡張を実施する。

実験結果

リサーチクエスチョン

• RQ1 行動数 $A$ が指数的に大きくなる状況において、因果構造を活用することで後悔を低減できるか？
• RQ2 $A$ に依存するのではなく、因果グラフに依存する量 $Z$ に置き換えることで、より良い後悔バウンドが理論的に保証されるか？
• RQ3 因果モデリングと要因分解MDPを組み合わせることで、状態空間サイズ $S$ への明示的依存を排除し、さらに後悔を低減できるか？
• RQ4 強い因果構造または状態の要因分解構造を持つ環境において、C-UCBVI の性能は標準的なUCBVI や要因分解UCBVI と比べてどのように異なるか？
• RQ5 因果的強化学習アルゴリズムを線形MDPに拡張しても、改善された後悔スケーリングを維持できるか？

主な発見

• C-UCBVI は $\tilde{O}(HS\sqrt{ZT})$ の後悔バウンドを達成し、行動数 $A$ の代わりに因果グラフに依存する量 $Z$ に依存するため、$Z \ll A$ の場合に指数的後悔低減が可能になる。
• 実験では、$A$ や $S$ が大きい環境において、CF-UCBVI がUCBVI、C-UCBVI、F-UCBVI よりも優れた性能を示した。これは因果構造と要因分解構造の両方を統合的に活用したためである。
• 介入数が増加する（$m$ が大きくなる）と、C-UCBVI と CF-UCBVI は安定した後悔を維持するが、UCBVI と F-UCBVI は著しく高い後悔を示す。
• 状態次元 $d_s$ が増加するにつれ、C-UCBVI の後悔は顕著に増加し、状態空間サイズへの感受性が確認された。一方、CF-UCBVI は要因分解構造の活用により、依然としてロバストである。
• F-UCBVI は要因分解構造が存在しても、因果知識が欠落しているため、C-UCBVI や CF-UCBVI よりも劣る性能を示した。
• 実験結果は理論的主張を裏付けている：因果構造を活用するアルゴリズム（C-UCBVI と CF-UCBVI）は、高次元の介入空間および状態空間において、非因果的対応アルゴリズムを一貫して上回る。