[论文解读] Benchmark Environments for Multitask Learning in Continuous Domains

Peter Henderson, Wei-Di Chang+4 more|arXiv (Cornell University)|Aug 14, 2017

Adversarial Robustness in Machine Learning参考文献 14被引用 17

一句话总结

本文提出了一套标准化的基准测试套件，包含50多个基于OpenAI Gym的连续控制强化学习环境，旨在评估多任务学习、迁移学习和终身学习。以信任域策略优化（TRPO）为基线，作者表明，任务变化——尤其是重力和身体形态的变化——会引发灾难性遗忘，而稳定的动力学则能实现正向迁移，为不同方法之间的公平比较奠定了基础。

ABSTRACT

As demand drives systems to generalize to various domains and problems, the study of multitask, transfer and lifelong learning has become an increasingly important pursuit. In discrete domains, performance on the Atari game suite has emerged as the de facto benchmark for assessing multitask learning. However, in continuous domains there is a lack of agreement on standard multitask evaluation environments which makes it difficult to compare different approaches fairly. In this work, we describe a benchmark set of tasks that we have developed in an extendable framework based on OpenAI Gym. We run a simple baseline using Trust Region Policy Optimization and release the framework publicly to be expanded and used for the systematic comparison of multitask, transfer, and lifelong learning in continuous domains.

研究动机与目标

• 解决连续控制领域中多任务学习缺乏标准化基准的问题。
• 基于OpenAI Gym开发一个可扩展、开源的框架，以支持对多任务、迁移和终身强化学习算法的系统性评估。
• 识别引发灾难性遗忘或支持正向迁移的环境变化，实现方法间的公平比较。
• 通过在多样化任务组上使用TRPO进行基准性能测试，为未来研究提供参考基准。
• 促进可复现性，并推动社区对连续领域强化学习基准环境的持续扩展。

提出的方法

• 通过修改重力、身体部件尺寸等物理参数，并增加障碍物或传感器噪声，扩展OpenAI Gym中的标准MuJoCo环境。
• 引入新的导航任务，包含随机的起始/目标位置和墙体障碍物，以测试泛化能力和探索性能。
• 采用固定架构（100-50-25 ReLU，tanh输出）和超参数的TRPO算法，按组顺序在每个环境中进行训练。
• 通过在先前训练过的所有环境中测试最终策略，评估泛化能力，以衡量正向迁移和遗忘程度。
• 每个环境使用20次滚动仿真进行评估，报告平均累积奖励及其标准差。
• 公开发布该框架，以支持社区贡献、新环境变体开发以及算法基准测试。

实验结果

研究问题

• RQ1 连续控制环境的标准化是否能够实现多任务和终身强化学习算法的公平且系统化的比较？
• RQ2 基于物理的修改（如重力、身体尺寸）在顺序训练中在多大程度上引发灾难性遗忘？
• RQ3 在哪些环境变化中会发生正向迁移？何种动力学特性有助于跨任务的泛化？
• RQ4 TRPO在学习能够泛化到多样化、复杂连续控制任务（具有延迟奖励）的策略方面效果如何？
• RQ5 具有稀疏奖励和高维状态空间的导航任务是否可作为终身学习的有效基准？

主要发现

• 在重力变化的Hopper环境中，顺序训练导致早期任务性能显著下降，表明存在强烈的灾难性遗忘。
• 最终策略在先前训练过的Hopper环境（如HopperGravityHalf-v0）上的性能下降至990.95 ± 1022.32，而每次环境训练后立即测试的性能更高（如2603.70 ± 881.54），证实了遗忘现象的存在。
• 在动力学稳定的Walker2d和HalfCheetah变体中，最终策略的表现优于从零开始训练的策略和中间策略，表明存在正向迁移。
• 在Humanoid和带墙障碍物的任务中，TRPO在1000次训练迭代内未能学习到有效策略，奖励始终接近初始的-1000基准值。
• 在导航任务中，代理在默认TRPO设置下始终无法学会到达目标，表明在稀疏奖励、高变异性环境中探索能力存在局限。
• 该框架成功识别出泛化可能的环境组（如稳定动力学）与泛化困难的环境组（如高动态扰动），为未来方法提供了诊断工具。