[論文レビュー] Generalizing Goal-Conditioned Reinforcement Learning with Variational Causal Reasoning

Wenhao Ding, Haohong Lin+2 more|arXiv (Cornell University)|Jul 19, 2022

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

本論文は、目的条件付き強化学習（GCRL）を向上させるため、原因因果関係グラフ（CG）を潜在変数としてモデル化する変分的因果推論フレームワークGRADERを提案する。本手法は、介入データを用いた因果構造の同定とポリシー学習を交互に繰り返し、理論的性能保証と強力な実験的結果を伴い、データ効率的で解釈可能かつ一般化可能なポリシーを達成する。9つの推論を要するタスクにおいて、優れた性能を示した。

ABSTRACT

As a pivotal component to attaining generalizable solutions in human intelligence, reasoning provides great potential for reinforcement learning (RL) agents' generalization towards varied goals by summarizing part-to-whole arguments and discovering cause-and-effect relations. However, how to discover and represent causalities remains a huge gap that hinders the development of causal RL. In this paper, we augment Goal-Conditioned RL (GCRL) with Causal Graph (CG), a structure built upon the relation between objects and events. We novelly formulate the GCRL problem into variational likelihood maximization with CG as latent variables. To optimize the derived objective, we propose a framework with theoretical performance guarantees that alternates between two steps: using interventional data to estimate the posterior of CG; using CG to learn generalizable models and interpretable policies. Due to the lack of public benchmarks that verify generalization capability under reasoning, we design nine tasks and then empirically show the effectiveness of the proposed method against five baselines on these tasks. Further theoretical analysis shows that our performance improvement is attributed to the virtuous cycle of causal discovery, transition modeling, and policy training, which aligns with the experimental evidence in extensive ablation studies.

研究の動機と目的

• 強化学習における因果推論の欠如、特に未観測の目的への一般化の限界を是正すること。
• 環境との相互作用から得られるデータを用いて因果構造を同定することで、GCRLにおけるデータ効率性と解釈可能性を向上させること。
• 因果同定、遷移モデル、ポリシー学習を統合的に最適化する理論的根拠に基づくフレームワークの構築。
• 分布シフト下でも構成的かつ頑健な推論を要するタスクにおける手法の評価。
• 因果構造の同定が、教師あり学習や模倣学習のベースラインを上回る一般化性能を向上させることの実証。

提案手法

• 因果グラフ（CG）を潜在変数として用いる変分尤度最大化問題としてGCRLを定式化する。
• 制約に基づく独立性検定を用いて、介入データから因果グラフの事後分布を推定する。
• 2段階の反復処理を実施する：(1) 介入データを用いた因果グラフ同定、(2) 推定されたCGに基づくポリシーおよび遷移モデルの学習。
• ノード固有のエンコーダーとデコーダーを備えた構造的ニューラルネットワークアーキテクチャを採用し、因果グラフに条件付けられた状態遷移をモデル化する。
• スパarsity正則化項とMINEを用いた相互情報量推定を導入し、因果構造同定の精度を向上させる。
• 弱い仮定（忠実性、マークフ・性質）の下で、因果グラフの同定可能性と性能下限の理論的保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 因果グラフを潜在変数として用いる変分推論フレームワークは、目的条件付きRLにおける一般化性能を向上させ得るか？
• RQ2 因果同定、遷移モデル、ポリシー学習の統合的学習は、エンドツーエンドRLに比べてより優れたデータ効率性と性能を達成するか？
• RQ3 本手法は、誤った相関の変化や構成的ゴールの変化に対してどのように一般化するか？
• RQ4 同定された因果グラフは解釈可能であり、エージェントの行動を説明するために利用可能か？
• RQ5 反復的因果同定の影響は、ポリシーの成功確率とサンプル効率にどのような影響を与えるか？

主な発見

• GRADERは、分布内、誤った相関、構成的一般化の設定を含む9つの推論を要するタスクにおいて、5つの強力なベースラインを上回る高い成功確率を達成した。
• 本手法は、従来のスコアベース手法と比較して、因果同定に必要なサンプル数を大幅に削減するデータ効率性を示した。
• アブレーションスタディにより、因果同定、遷移モデル、ポリシー学習の間の好循環が性能向上をもたらすことが確認された。
• 同定された因果グラフは解釈可能であり、人間が定義した構造と整合的で、エージェント意思決定の後処理的分析を可能にした。
• 理論的分析により、標準的な因果仮定の下で因果グラフの同定が一意に可能であり、性能の下限が保証されることを確認した。
• 実験的結果から、因果同定とポリシー学習の共同最適化が、ゼロショット一般化性能を顕著に向上させることを示した。