[論文レビュー] Invariant Causal Prediction for Block MDPs

Amy Zhang, Clare Lyle+6 more|arXiv (Cornell University)|Mar 12, 2020

Machine Learning and Algorithms参考文献 31被引用数 37

ひとこと要約

本論文は不変因果予測（ICP）を導入し、Block MDPにおけるモデルに依存しない状態表現（MISA）を学習し、環境を跨ぐ一般化を可能にし、理論的境界を提供する。線形および非線形の実験は、ベースラインより一般化を改善することを示す。

ABSTRACT

Generalization across environments is critical to the successful application of reinforcement learning algorithms to real-world challenges. In this paper, we consider the problem of learning abstractions that generalize in block MDPs, families of environments with a shared latent state space and dynamics structure over that latent space, but varying observations. We leverage tools from causal inference to propose a method of invariant prediction to learn model-irrelevance state abstractions (MISA) that generalize to novel observations in the multi-environment setting. We prove that for certain classes of environments, this approach outputs with high probability a state abstraction corresponding to the causal feature set with respect to the return. We further provide more general bounds on model error and generalization error in the multi-environment setting, in the process showing a connection between causal variable selection and the state abstraction framework for MDPs. We give empirical evidence that our methods work in both linear and nonlinear settings, attaining improved generalization over single- and multi-task baselines.

研究の動機と目的

• 環境によって観測が異なるが潜在的なダイナミクスは共有される場合において、強化学習における堅牢な一般化を動機づける。
• 環境介入を用いて因果的でタスク関連な状態特徴を識別するためのブロックMDPフレームワークを提案・形式化する。
• 不変因果予測を活用して、環境間の一般化に適したモデル非依存の状態表現を抽出する。
• 因果変数選択と状態表現の間の理論的境界を提供し、線形および非線形設定での実用的な性能を示す。

提案手法

• 共有潜在ダイナミクスと環境ごとの観測を持つBlock MDPを定式化し、観測成分に対する介入を導入する。
• 不変因果予測（ICP）を適用して報酬の因果的祖先を特定し、モデル非依存の状態抽象化（MISA）を構築する。
• 2つの学習アプローチを提供する：線形ICPベースの変数選択法（Algorithm 1）と、微分ベースの非線形MISA目的（Algorithm 2）で、IRMに似た不変リスク最小化に相当する。
• 学習抽象化とビシミュレーション（bisimulation）に結びつく一般化境界を導出し、不変表現下でのQ/値の差の境界を示す。
• 線形設定ではICPが最小の因果特徴集合を回復できることを示し、非線形設定では複数環境に跨る不変表現を最適化する。

実験結果

リサーチクエスチョン

• RQ1 Invariant causal predictionはBlock MDP環境を跨ぐ報酬を支配する最小の因果特徴集合を識別できるか？
• RQ2 ICPで学習したモデル非依存状態抽象化（MISA）は見知らぬ環境でも共有潜在ダイナミクスを持つ場合に一般化できるか？
• RQ3 複数環境における因果変数選択と状態抽象度の品質を結ぶ理論的保証（誤差境界）は何か？
• RQ4 線形および非線形のMISA手法は、実践での一般化を、ベースラインに対してスプリアス相関に対して改善されるか？

主な発見

• Assumptions 1–3の下で、報酬の因果祖先に基づく状態抽象はファミリー内の各環境に対してモデル非依存抽象を提供する。
• 線形設定では、ICPは環境を跨いで一般化する最小の因果特徴集合を回復でき、一般化を妨げるスプリアス変数を排除する。
• 非線形のMISAアプローチ（勾配ベース）は、DeepMind Controlタスクの実験で、単一タスク、マルチタスクベースラインおよびIRMよりも一般化を改善する。
• 理論的成果は学習された抽象化をビシミュレーションと結びつけ、不変表現を使用した場合のモデル誤差およびQ/値差の境界を提供する。
• Aggregate-sample generalization boundsは、環境の数ではなく、すべての訓練環境にまたがる総サンプル数に比例してスケールする。