[论文解读] Causal Induction from Visual Observations for Goal Directed Tasks

Suraj Nair, Yuke Zhu+2 more|arXiv (Cornell University)|Oct 3, 2019

Multimodal Machine Learning Applications参考文献 45被引用 45

一句话总结

本论文提出从视觉观测进行迭代因果归纳，以及基于注意力的目标条件策略，以使智能体在具有未知因果结构的环境中完成多步、目标导向的任务。

ABSTRACT

Causal reasoning has been an indispensable capability for humans and other intelligent animals to interact with the physical world. In this work, we propose to endow an artificial agent with the capability of causal reasoning for completing goal-directed tasks. We develop learning-based approaches to inducing causal knowledge in the form of directed acyclic graphs, which can be used to contextualize a learned goal-conditional policy to perform tasks in novel environments with latent causal structures. We leverage attention mechanisms in our causal induction model and goal-conditional policy, enabling us to incrementally generate the causal graph from the agent's visual observations and to selectively use the induced graph for determining actions. Our experiments show that our method effectively generalizes towards completing new tasks in novel environments with previously unseen causal structures.

研究动机与目标

• 鼓励通过推理潜在因果结构来使智能体执行目标导向的任务。
• 提出一个两阶段元学习框架：因果归纳从观测中构建宏变量的有向无环图（DAG），以及因果推理以指导目标条件策略。
• 开发一个带注意力的迭代因果归纳网络，以从交互数据增量更新因果图。
• 在策略中引入基于注意力的图编码，在每一步聚焦于相关的因果边。
• 表明通过因果图对归纳与推理进行分解，能在有限训练样本下对未知结构实现泛化。

提出的方法

• Iterative causal induction network 迭代因果归纳网络 构建一个 DAG hat{C}] 从视觉观测和行动的轨迹。
• Edge Decoder 输出边更新 bDelta e 和一个注意向量，用于将更新应用于图中节点。
• Attention bottleneck in the policy lpha] 将焦点放在与当前步骤相关的边上，以进行动作选择。
• Policy 1277 使用对因果图的注意力来选择边并产生动作。
• Training uses supervised learning to minimize L2 loss between ground-truth and predicted C, and DAgger to train the policy with oracle guidance.

实验结果

研究问题

• RQ1 一个迭代的、带注意力引导的因果归纳网络是否能够从视觉交互数据中准确恢复潜在的因果图？
• RQ2 目标条件策略中的注意力瓶颈是否提升对未见因果结构的泛化？
• RQ3 将迭代因果归纳与基于注意力的策略结合，是否在具有新颖因果关系的视觉目标导向任务上超越此前工作？
• RQ4 随着所见训练因果结构数量和任务规模的变化，性能如何变化？

主要发现

• 带注意力的迭代归纳网络（ICIN）在恢复因果图方面优于非迭代和消融变体（在未见结构上的 F1 分数）。
• 带注意力瓶颈的策略（ICIN）在未见因果结构上，在各种切换计数和结构类型下比基线更高的成功率。
• ICIN 在5-switch、50-seen-structures 设置下几乎达到 Oracle 的性能，表明因果图归纳很强。
• 策略中的注意力瓶颈显著提升泛化，在 1:1 与 Masterswitch 情况下约提升 10 个百分点，在 1:K 与 K:1 情况下约提升 40 个百分点。