[論文レビュー] Causal Reasoning from Meta-reinforcement Learning

Ishita Dasgupta, Jane X. Wang+8 more|arXiv (Cornell University)|Jan 23, 2019

Bayesian Modeling and Causal Inference参考文献 6被引用数 74

ひとこと要約

本論文は、モデルフリーでメタ学習されたRNNエージェントが、情報に富む実験を設計することを学ぶことによって、観測データ、介入データ、反事実データの設定を横断して、因果推論—do-calculus、介入、反事実—を実行できることを示す。

ABSTRACT

Discovering and exploiting the causal structure in the environment is a crucial challenge for intelligent agents. Here we explore whether causal reasoning can emerge via meta-reinforcement learning. We train a recurrent network with model-free reinforcement learning to solve a range of problems that each contain causal structure. We find that the trained agent can perform causal reasoning in novel situations in order to obtain rewards. The agent can select informative interventions, draw causal inferences from observational data, and make counterfactual predictions. Although established formal causal reasoning algorithms also exist, in this paper we show that such reasoning can arise from model-free reinforcement learning, and suggest that causal reasoning in complex settings may benefit from the more end-to-end learning-based approaches presented here. This work also offers new strategies for structured exploration in reinforcement learning, by providing agents with the ability to perform -- and interpret -- experiments.

研究の動機と目的

• 明示的な因果事前知識なしに、メタ学習から因果推論が現れるかどうかを動機づける。
• 観測データから因果推論能力（因果効果、介入、反事）を実証する。
• 能動的なデータ収集が因果理解とタスク報酬を向上させることを示す。
• 訓練時に見られなかった新しい因果グラフへメタ学習エージェントが転移できるかを評価する。

提案手法

• モデルフリー強化学習を用いて、ランダムな因果ベイズネットワーク（CBN）上で行動するLSTMベースのエージェントを訓練する。
• 介入または観察を用いて因果構造を推定するため、エピソードを情報フェーズとクイズフェーズに構造化する。
• 観測データにおける因果効果を導出するためにdo-calculus風の推論を用い、反事実推論タスクと比較する。
• 構造化探索の価値を評価するため、能動的（情報を得た）データ収集とランダムなデータ収集を比較する。
• 保持されたテストグラフを用いた観測、介入、反事実の3つの設定で評価する。

実験結果

リサーチクエスチョン

• RQ1 メタ訓練されたモデルフリーRLエージェントは観測データだけから因果推論を行えるか。
• RQ2 介入データへのアクセスは、未観測の交絡因子が存在する場合の因果問題の解決を可能にするか。
• RQ3 エージェントは反事実推論を行えるか、アブダクションは縮退した場合の性能を向上させるか。
• RQ4 エージェントはクイズフェーズの報酬を改善するために、情報価値の高い観察または介入を能動的に選択することを学ぶか。
• RQ5 学習された戦略は未知の因果グラフへどれだけ転移できるか。

主な発見

• メタ学習で訓練されたエージェントは観測データから因果推論を行い、介入ノードが親を持つ場合には、純粋に連想的な最良ベースラインを上回る。
• 介入データは未観測の交絡因子を解消することができ、能動的な介入エージェントは混乱した場合に観測のみのエージェントを上回る。
• 潜在的な乱数性（アブダクション）を活用する反事実エージェントは、縮退的な最大シナリオや特化した介入が使用される場合に、介入エージェントを上回る。
• 3つの実験設定のすべてで、能動的なデータ収集方針はランダム観察方針よりクイズフェーズの報酬が高い。
• エージェントは明示的な因果事前知識なしで、do-calculusの学習、効果的な介入計画、および反事実予測を実証する。