[论文解读] Learning with AMIGo: Adversarially Motivated Intrinsic Goals

Andres Campero, Roberta Răileanu+4 more|arXiv (Cornell University)|Jun 22, 2020

Adversarial Robustness in Machine Learning参考文献 57被引用 48

一句话总结

AMIGo 训练一个生成目标的教师，为学生策略提出越来越具有挑战性的内在目标，创建一个自我驱动的课程表，使在稀疏奖励环境中学习成为可能，并在具有挑战性的 MiniGrid 任务上超越当前最先进的内在动机基线。

ABSTRACT

A key challenge for reinforcement learning (RL) consists of learning in environments with sparse extrinsic rewards. In contrast to current RL methods, humans are able to learn new skills with little or no reward by using various forms of intrinsic motivation. We propose AMIGo, a novel agent incorporating -- as form of meta-learning -- a goal-generating teacher that proposes Adversarially Motivated Intrinsic Goals to train a goal-conditioned "student" policy in the absence of (or alongside) environment reward. Specifically, through a simple but effective "constructively adversarial" objective, the teacher learns to propose increasingly challenging -- yet achievable -- goals that allow the student to learn general skills for acting in a new environment, independent of the task to be solved. We show that our method generates a natural curriculum of self-proposed goals which ultimately allows the agent to solve challenging procedurally-generated tasks where other forms of intrinsic motivation and state-of-the-art RL methods fail.

研究动机与目标

• 通过内在动机激发学习框架，解决稀疏奖励的 RL 任务。
• 提出一个生成目标的教师，为学生策略创建具有挑战性但可实现的内在目标。
• 证明自动课程生成在程序生成环境中提高样本效率和任务泛化能力。

提出的方法

• 介绍 AMIGo，由目标生成教师 G 和目标条件学生 π 组成。
• 教师 G 在回合开始时或达到目标时提出目标 g；学生基于实现 g 获得内在奖励 r^g，外加环境奖励 r^e。
• 教师奖赏 r^T 对于学生难以实现但可实现的目标进行奖励，使用阈值 t* 来控制目标难度。
• 学生使用折扣回报 R_t 最优化，奖励为 r_t = r^g_t + r^e_t。
• 环境是具有程序生成布局的 MiniGrid 任务；目标定义为通过坐标 (x,y) 对平铺观察的变更。
• 探索了一个辅助损失集合（多样性、回合边界感知、外在目标对齐），但对 AMIGo 不是必需的。

实验结果

研究问题

• RQ1 一个生成目标的教师能否学习创建一个内在激励目标的课程表，使任务难度随学生进步逐步增加？
• RQ2 AMIGo 是否在具有挑戰性的、程序生成的 MiniGrid 环境中超越最先进的内在动机基线？
• RQ3 辅助教师损失的消融如何影响学习和表现？
• RQ4 框架结构是否独立于模型且可适用于不同的 RL 模型和目标模态？

主要发现

• AMIGo 在若干困难的 MiniGrid 任务上取得了最先进的结果，并解决了其他方法无法解决的一些环境。
• AMIGo 在困难环境中优于基线，如 IMPALA（不含内在动机）、Count、ICM、RND、RIDE 和 ASP。
• 在中等环境中，AMIGo 的表现与其他强大的内在动机方法相当。
• AMIGo 展现了一个自然的课程表，教师随着学生的进步而提高目标难度。
• 定性分析显示在学习进展时教师与学生之间存在协作和对抗动态。