[論文レビュー] A Survey on Causal Reinforcement Learning

Yan Zeng, Ruichu Cai+3 more|arXiv (Cornell University)|Feb 10, 2023

Advanced Causal Inference Techniques被引用数 6

ひとこと要約

本サーベイは、因果的強化学習（CRL）の包括的な分類体系を提示し、事前因果知識に依存する手法と、データから因果関係を学習する手法に分類している。MDP、POMDP、バンディット、DTRのフレームワークにおいてCRLをレビューし、標準化された指標を用いて手法を評価し、オープンソースリソースと実世界の応用を概説している。CRLは、データ効率的で解釈可能な強化学習システムへの重要な道筋であると位置づけられる。

ABSTRACT

While Reinforcement Learning (RL) achieves tremendous success in sequential decision-making problems of many domains, it still faces key challenges of data inefficiency and the lack of interpretability. Interestingly, many researchers have leveraged insights from the causality literature recently, bringing forth flourishing works to unify the merits of causality and address well the challenges from RL. As such, it is of great necessity and significance to collate these Causal Reinforcement Learning (CRL) works, offer a review of CRL methods, and investigate the potential functionality from causality toward RL. In particular, we divide existing CRL approaches into two categories according to whether their causality-based information is given in advance or not. We further analyze each category in terms of the formalization of different models, ranging from the Markov Decision Process (MDP), Partially Observed Markov Decision Process (POMDP), Multi-Arm Bandits (MAB), and Dynamic Treatment Regime (DTR). Moreover, we summarize the evaluation matrices and open sources while we discuss emerging applications, along with promising prospects for the future development of CRL.

研究の動機と目的

• 従来の強化学習（RL）におけるデータ非効率性と解釈不能性の問題を、因果推論の原則を統合することで解決すること。
• 因果情報が事前に提供されているか、それともデータから発見されなければならないかに基づいて、既存のCRLアプローチを体系的に分類すること。
• MDP、POMDP、マルチアームバンディット、ダイナミック治療規則（DTR）を含む、複数の順序付き意思決定フレームワークにおけるCRL手法をレビューすること。
• 評価指標、オープンソース実装、医療、ロボット工学、自律システム分野における新興応用を要約すること。
• 知識ベース、メモリベース、認知ベース、応用ベースのCRLにおける未解決の研究方向性を同定すること。

提案手法

• CRL手法を2つの明確なクラスに分類する：(1) 事前に既知の因果構造を有するCRL、(2) 未知または学習された因果構造を有するCRL。
• マークフ・意思決定過程（MDP）、部分観測可能MDP（POMDP）、マルチアームバンディット（MAB）、ダイナミック治療規則（DTR）といった標準的なRLフレームワーク内でCRLを形式化する。
• ド計算、反事実的推論、構造的因果モデルといった因果推論技術を、RLのポリシー学習と価値推定に統合する。
• 観測データから因果発見を行う手法（例：因果グラフの推定）を活用し、サンプル効率性とポリシーの一般化性を向上させる手法を調査・比較する。
• 標準的なRL指標（例：累積報酬、サンプル効率）と因果固有の指標（例：平均処置効果、反事実的精度）を用いてCRL手法を評価する。
• 再現可能性とさらなる研究を支援するため、オープンソース実装とベンチマーク環境を強調する。

実験結果

リサーチクエスチョン

• RQ1 相互作用データが限られたり高コストな状況下で、因果推論は強化学習におけるデータ効率性をどのように向上させるか？
• RQ2 因果構造（例：因果グラフ）は、深層強化学習エージェントにおける解釈可能性とポリシーの透明性を、どのような方法で向上させるか？
• RQ3 既知の因果構造を仮定するCRL手法と、データからそれを発見する手法との間の主な違いとトレードオフは何か？
• RQ4 MDP、POMDP、DTRなどの異なる順序付き意思決定設定において、CRL手法はどのように性能を発揮するか？
• RQ5 CRLの最も有望な応用分野は何か。また、実世界システムへのCRLの導入に残された課題は何か？

主な発見

• 因果的強化学習は、反事実的推論と干渉に基づくポリシー学習を可能にすることで、環境との広範な相互作用に依存しないため、サンプル効率が著しく向上する。
• 事前因果知識を統合したCRL手法は、医療やロボット工学などハイリスク分野において、より優れた一般化性能と解釈可能性を達成する。
• CRLにおける因果発見により、観測データから因果関係を学習できるため、環境のダイナミクスが部分的に未知であってもポリシー学習が可能になる。
• 階層的およびメタ強化学習フレームワークと因果モデルを統合することで、より適応的で一般化可能な高レベル計画が可能になる。
• 応用ベースのCRLは、自動運転、医療治療、金融取引など、因果的推論がより安全で信頼性の高い意思決定を支援する分野で強く有望な可能性を示している。
• CRLの発展には、大規模で多様かつ代表的な実世界データセットが不可欠であり、データ駆動型およびデータ統合型CRL技術が、実世界への展開を可能にする重要な要因として台頭している。