[論文レビュー] Causal Reinforcement Learning: A Survey

Zhi‐Hong Deng, Jing Jiang+2 more|arXiv (Cornell University)|Jul 4, 2023

Auction Theory and Applications被引用数 6

ひとこと要約

本調査では、因果推論を強化学習に統合する枠組みとして因果的強化学習（Causal RL）を紹介し、サンプル効率性、一般化性能、知識移転、意思決定の説明可能性の向上を図る。因果的関係をモデル化し、不変性を活用することで、従来の強化学習が抱える偽相関や一般化性能の低さといった限界を克服し、複雑な環境におけるより安全でより強固な意思決定のための体系的かつ整合的な手法を提供する。

ABSTRACT

Reinforcement learning is an essential paradigm for solving sequential decision problems under uncertainty. Despite many remarkable achievements in recent decades, applying reinforcement learning methods in the real world remains challenging. One of the main obstacles is that reinforcement learning agents lack a fundamental understanding of the world and must therefore learn from scratch through numerous trial-and-error interactions. They may also face challenges in providing explanations for their decisions and generalizing the acquired knowledge. Causality, however, offers a notable advantage as it can formalize knowledge in a systematic manner and leverage invariance for effective knowledge transfer. This has led to the emergence of causal reinforcement learning, a subfield of reinforcement learning that seeks to enhance existing algorithms by incorporating causal relationships into the learning process. In this survey, we comprehensively review the literature on causal reinforcement learning. We first introduce the basic concepts of causality and reinforcement learning, and then explain how causality can address core challenges in non-causal reinforcement learning. We categorize and systematically review existing causal reinforcement learning approaches based on their target problems and methodologies. Finally, we outline open issues and future directions in this emerging field.

研究の動機と目的

• 因果的推論の統合により、従来の強化学習の限界、たとえば低いサンプル効率性や偽相関への感受性を解消する。
• 不変な因果的メカニズムの使用により、環境やタスク間での一般化性能と知識移転能力を向上させる。
• 反事後的推論と因果モデルの活用により、実世界の強化学習応用における意思決定の説明可能性、公平性、安全性を向上させる。
• 強化学習のコアな課題にどのように対処できるかを基準に、既存の因果的強化学習アプローチを体系的に分類・評価する。
• 現在のベンチマークにおけるギャップを特定し、実世界への採用を促進するため、より透明性があり因果的根拠に基づいた環境の構築を提言する。

提案手法

• 構造的因果モデル（SCM）とdo記法を強化学習フレームワークに統合し、介入と反事後的推論を形式化する。
• 事前知識が限られる状況では、因果的表現学習を用いて観測データから因果構造を推定する。
• 不変リスク最小化（IRM）と因果的表現学習を適用し、分布シフトに伴う一般化性能を向上させる。
• マルチタスク学習およびメタラーニングの枠組みを活用し、環境間での因果的発見とポリシー移転を促進する。
• 潜在的アウトカムとdo記法を用いて因果的効果を形式化し、観測データから介入効果を推定する。
• 人間が提供する因果的知識を活用し、試行錯誤学習への依存を低減するとともに、探索をガイドする。

実験結果

リサーチクエスチョン

• RQ1 因果モデリングは、強化学習におけるサンプル効率性と一般化性能をどのように向上させ得るか？
• RQ2 因果推論は、オフラインおよび部分観測可能な強化学習設定において、偽相関をどのように緩和できるか？
• RQ3 反事後的推論は、自動運転のような実世界の強化学習応用において、意思決定と安全性をどのように向上させ得るか？
• RQ4 因果情報が不完全または観測不可能な状況において、現在の因果的強化学習手法の根本的な限界は何か？
• RQ5 因果的強化学習アルゴリズムの透明性があり多面的な評価を可能にするために、既存のベンチマークはどのように改善できるか？

主な発見

• 因果的強化学習は、介入効果を体系的かつ整合的に推定できるため、より少ない相互作用でエージェントが学習できるようになることで、サンプル効率性が向上する。
• 因果モデリングにより、環境間で不変な因果的メカニズムを特定できるため、偽相関への感受性が低減され、一般化性能が向上する。
• 反事後的推論により、エージェントは「もし別の行動を取っていたらどうだったか？」といった『仮説的』状況を評価できる。たとえば、衝突は別の行動を取っていたら回避できたのかを検証できる。
• 現在の因果的強化学習のベンチマークは、しばしば透明性に欠けたブラックボックスシステムであり、再現性や因果的理解の阻害要因となっている。
• 進展は見られるものの、部分観測性、安全制約、説明可能性の必要性といった課題のため、実世界への導入は依然として限定的である。
• 人間が提供する因果的知識の統合は、データが少ない状況において特に顕著に学習効率とポリシーの強固さを向上させることができる。