[論文レビュー] Causality and Batch Reinforcement Learning: Complementary Approaches To Planning In Unknown Domains

James Sanford Bannon, Brad Windsor+2 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Causal Inference Techniques参考文献 62被引用数 9

ひとこと要約

本稿は、因果推論とバッチ強化学習（RL）の間の理論的かつ実用的な関係を確立し、強化学習におけるオフポリシー評価と因果推論における治療効果推定が、同じ反事後的問題を扱っていることを示している。著者らは、因果推論手法（例えば、ダブルロバスト推定やdo-計算）をバッチRLに統合することで、オンライン相互作用なしに一般化性能を向上させ、誤差を低減することを実証した。これにより、医療や自動運転などの高リスク分野における安全な展開が可能になる。

ABSTRACT

Reinforcement learning algorithms have had tremendous successes in online learning settings. However, these successes have relied on low-stakes interactions between the algorithmic agent and its environment. In many settings where RL could be of use, such as health care and autonomous driving, the mistakes made by most online RL algorithms during early training come with unacceptable costs. These settings require developing reinforcement learning algorithms that can operate in the so-called batch setting, where the algorithms must learn from set of data that is fixed, finite, and generated from some (possibly unknown) policy. Evaluating policies different from the one that collected the data is called off-policy evaluation, and naturally poses counter-factual questions. In this project we show how off-policy evaluation and the estimation of treatment effects in causal inference are two approaches to the same problem, and compare recent progress in these two areas.

研究の動機と目的

• オンライン探索がコスト過剰となる高リスク分野における安全なポリシー評価の課題に取り組む。
• バッチRLにおけるオフポリシー評価と因果推論における治療効果推定が、根本的に同じ反事後的問題であることを特定する。
• 因果推論手法がオンライン相互作用なしにバッチRLにおける一般化性能と誤差低減をどのように改善できるかを示す。
• データ探索、誤差推定、理論的下界の観点から、因果推論とRLの間のメソドロジカルなギャップを埋める。
• 因果推論をトランスファー学習やマルチタスク学習などのより広範なRLフレームワークに統合することで、実世界への適用可能性を高める。

提案手法

• 潜在的アウトカムフレームワークと構造的因果モデル（SCM）を、文脈帯域幅の逐次的意思決定と形式化する。
• 特にダブルロバスト推定量とバックドア／フォアドア調整を含む因果推論手法を、バッチRLにおけるオフポリシー評価に適用する。
• do-計算を用いて干渉をモデル化し、異なるポリシー下での反事後的アウトカムを推定することで、RLにおけるポリシー評価を模倣する。
• アクティブ因果学習（例えば、弦的部分グラフの最適彩色による干渉選択）を、バッチRLの探索戦略に統合する。
• Cramér-Rao下界を用いて、因果推定とRL推定の分散の理論的限界を分析し、両者が同じ下界に収束することを示す。
• 因果誤差推定と反事後的推論に基づいた、バッチRLにおける行動ポリシー最適化の勾配ベース更新則を提案する。

実験結果

リサーチクエスチョン

• RQ1 バッチRLにおけるオフポリシー評価と因果推論における治療効果推定は、反事後的推論の観点から、どのように関係しているか？
• RQ2 オンライン相互作用が存在しない状況下で、因果推論手法がバッチRLアルゴリズムの一般化性能とロバスト性をどの程度向上できるか？
• RQ3 アクティブ因果学習戦略（例えば、適応的干渉選択）を用いて、バッチRL環境におけるデータ効率の良い探索を誘導できるか？
• RQ4 因果推定とバッチRL推定が、同一条件下で同じ理論的下界（例えばCramér-Rao下界）に収束するか？
• RQ5 因果構造の同定とdo-計算を用いることで、未知環境における反事後的ポリシー評価をどのように向上できるか？

主な発見

• バッチRLにおけるオフポリシー評価と因果推論における治療効果推定は、反事後的アウトカムの取り扱いにおいて、数学的にも概念的にも同等である。
• 因果推論から得られるダブルロバスト推定量は、バッチRLにおける分散を顕著に低減し、Cramér-Rao下界に近づく一般化性能を実現する。
• バックドアおよびフォアドア調整などの因果推論手法は、行動ポリシーが未知であっても、ポリシー価値の有効かつ一貫した推定量を提供する。
• 適応的干渉選択を実行するアクティブ因果学習アルゴリズムは、RLにおける行動ポリシー更新にマッピング可能であり、データ効率の良い探索を可能にする。
• 理論的分析により、因果推論とバッチRL推定の両者が同じ分散下限に到達することが確認され、共通の統計的基盤が裏付けられた。
• RLに因果的推論を統合することで、オンラインの試行錯誤なしに正確な反事後的推論が可能になり、実世界の応用における安全性と信頼性が向上する。