[论文解读] Causal Curiosity: RL Agents Discovering Self-supervised Experiments for Causal Representation Learning

Sumedh Sontakke, Arash Mehrjou+2 more|arXiv (Cornell University)|Oct 7, 2020

Child and Animal Learning Development参考文献 35被引用 8

一句话总结

本文提出因果好奇心（causal curiosity），一种内在奖励机制，使强化学习智能体能够自主发现自监督实验行为，以推断物理环境中的解耦因果因子。通过模拟一次只改变一个因素（One-Factor-at-a-Time, OFAT）的实验方法，智能体学习到可解释的、二值化的因果因子表征（例如质量、尺寸、摩擦力），在零样本泛化方面表现优异，并将数据需求量相比监督基线减少约2.5倍。

ABSTRACT

Animals exhibit an innate ability to learn regularities of the world through interaction. By performing experiments in their environment, they are able to discern the causal factors of variation and infer how they affect the world's dynamics. Inspired by this, we attempt to equip reinforcement learning agents with the ability to perform experiments that facilitate a categorization of the rolled-out trajectories, and to subsequently infer the causal factors of the environment in a hierarchical manner. We introduce {\em causal curiosity}, a novel intrinsic reward, and show that it allows our agents to learn optimal sequences of actions and discover causal factors in the dynamics of the environment. The learned behavior allows the agents to infer a binary quantized representation for the ground-truth causal factors in every environment. Additionally, we find that these experimental behaviors are semantically meaningful (e.g., our agents learn to lift blocks to categorize them by weight), and are learnt in a self-supervised manner with approximately 2.5 times less data than conventional supervised planners. We show that these behaviors can be re-purposed and fine-tuned (e.g., from lifting to pushing or other downstream tasks). Finally, we show that the knowledge of causal factor representations aids zero-shot learning for more complex tasks. Visit https://sites.google.com/usc.edu/causal-curiosity/home for website.

研究动机与目标

• 使强化学习智能体能够在无监督条件下自主发现物理环境中的因果因子。
• 开发一种自监督实验策略，通过动作序列隔离单个因果因子。
• 从轨迹数据中学习因果因子（例如质量、摩擦力）的解耦且可解释的表征。
• 提升在未见环境中的零样本泛化能力与迁移学习性能。
• 通过用内在好奇心驱动探索替代任务特定奖励，减少对奖励工程的依赖。

提出的方法

• 引入因果好奇心作为内在奖励，鼓励智能体执行能隔离单一因果因子影响、同时最小化其他因子干扰的动作。
• 设计实验行为（例如抬起、推动）以逐个因素地探测因果因子，灵感源自OFAT方法。
• 使用PPO训练智能体，结合因果好奇心奖励，以发现能最大化关于单个因果因子信息增益的最优动作序列。
• 构建分层二值表征，其中每一层对应特定因果因子的高低值（例如高/低质量）。
• 将推断出的因果表征作为下游策略网络的输入，以实现对新任务的零样本迁移。
• 对发现的实验行为进行微调，以适应新任务（例如从“抬起”到“推动”），而无需从头开始训练。

实验结果

研究问题

• RQ1 强化学习智能体能否在物理环境中自主发现自监督实验行为，以隔离单个因果因子？
• RQ2 因果好奇心能否在无监督条件下实现因果因子的解耦且可解释的表征？
• RQ3 因果表征的知识是否能提升下游任务中的零样本泛化能力？
• RQ4 与监督规划基线相比，因果好奇心的数据效率如何？
• RQ5 所发现的实验行为能否被重新利用并微调以适应新任务？

主要发现

• 因果好奇心使智能体能够发现语义上有意义的实验行为，例如通过抬起积木来推断其质量，展示了自监督且可解释的探索能力。
• 智能体通过从轨迹数据中分层推理，实现了因果因子（如质量、尺寸、摩擦力）的解耦且二值化的表征。
• 该方法在相同任务中相比传统监督规划基线，将数据需求量减少了约2.5倍。
• 具有因果好奇心的智能体在零样本迁移任务中显著优于通用型（Generalist）和专用型（Specialist）基线，表明因果表征能有效提升泛化能力。
• 因果表征的知识提升了样本效率，并成功支持了对新任务（如推动或搭塔）的实验行为微调。
• 该方法在未见过的质量与尺寸组合的新环境中实现了强大的零样本泛化能力，验证了其鲁棒性。