[论文解读] Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning

Nan Rosemary Ke, Aniket Didolkar+8 more|arXiv (Cornell University)|Jul 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用 5

一句话总结

本文提出了一套系统化的基准测试套件，用于评估视觉模型基于强化学习中的因果发现，其中智能体从像素观测中学习高层次的因果变量。作者表明，与标准自编码器或变分自编码器相比，模块化神经网络架构在不同复杂度的因果图下显著提升了因果结构归纳能力。

ABSTRACT

Inducing causal relationships from observations is a classic problem in machine learning. Most work in causality starts from the premise that the causal variables themselves are observed. However, for AI agents such as robots trying to make sense of their environment, the only observables are low-level variables like pixels in images. To generalize well, an agent must induce high-level variables, particularly those which are causal or are affected by causal variables. A central goal for AI and causality is thus the joint discovery of abstract representations and causal structure. However, we note that existing environments for studying causal induction are poorly suited for this objective because they have complicated task-specific causal graphs which are impossible to manipulate parametrically (e.g., number of nodes, sparsity, causal chain length, etc.). In this work, our goal is to facilitate research in learning representations of high-level variables as well as causal structures among them. In order to systematically probe the ability of methods to identify these variables and structures, we design a suite of benchmarking RL environments. We evaluate various representation learning algorithms from the literature and find that explicitly incorporating structure and modularity in models can help causal induction in model-based reinforcement learning.

研究动机与目标

• 解决视觉模型基于强化学习中因果归纳评估缺乏系统化、可调环境的问题。
• 克服现有强化学习环境的局限性，这些环境具有固定、复杂或纠缠的因果结构，不适合用于探究因果学习。
• 提供一个模块化的基准平台，使研究者能够系统地改变因果图的关键属性（例如，稀疏性、大小、链长、可观测性）。
• 评估不同表示学习架构在从原始视觉观测中发现因果结构方面的表现。
• 建立标准化的评估指标，以衡量因果归纳的进展，包括H@1、MRR和重建误差。

提出的方法

• 设计一系列可调真实因果图的定制强化学习环境，包括链式结构、全连接结构和共因结构。
• 控制节点数量、稀疏性以及变量是否可观测或潜变量等参数，以隔离因果学习的特定方面。
• 使用NLL损失在像素观测上训练多种表示学习模型——自编码器（AE）、变分自编码器（VAE）、模块化架构和图神经网络（GNN）。
• 利用基于干预的数据（动作作为干预）来模拟因果动态，并评估模型在因果结构恢复方面的性能。
• 使用三项指标评估模型性能：命中率在第1位（H@1）、平均倒数排名（MRR）和重建误差，涵盖1步、5步和10步预测任务。
• 提出一种显式编码结构归纳偏置的模块化架构，以提升从视觉输入中进行因果发现的能力。

实验结果

研究问题

• RQ1 在受控环境中，不同表示学习架构在从原始像素观测中发现因果结构方面的表现如何？
• RQ2 在视觉MBRL中，引入结构归纳偏置（如模块化）在多大程度上能提升因果发现能力？
• RQ3 因果图属性的变化（如稀疏性、链长、共因结构）如何影响因果归纳方法的性能？
• RQ4 像H@1和MRR这样的标准化评估指标能否可靠地衡量从视觉数据中发现因果结构的进展？
• RQ5 未观测的混淆变量或共因结构的存在如何影响模型恢复正确因果图的能力？

主要发现

• 在链式结构中，模块化架构在1步预测中取得了最高的H@1（16.863 ± 0.135）和MRR（23.047 ± 0.027），优于AE（17.62 ± 0.192，23.85 ± 0.065）和VAE（9.847 ± 0.572，15.407 ± 0.559）。
• 在共因结构中，模块化模型在10步预测中的成功率达到了0.697 ± 0.075，显著优于GNN（0.35 ± 0.028）和VAE（0.02 ± 0.0）。
• GNN模型在所有结构中表现均较差，多数设置下的MRR值低于6.0，表明其从视觉输入中恢复因果结构的能力有限。
• AE和VAE模型虽然重建误差较小，但因果结构恢复能力弱，多数设置下的H@1值低于5.0，表明其对因果关系的泛化能力差。
• 在链式结构中，1步预测的H@1与成功率之间存在正相关关系，但该关系在更长的预测时域下减弱。
• 模块化架构在重建和因果结构恢复两方面均持续优于其他模型，尤其在全连接和共因等复杂图结构中表现更优，表明其作为因果发现的归纳偏置具有显著有效性。