[论文解读] Flatland: a Lightweight First-Person 2-D Environment for Reinforcement Learning

Hugo Caselles-Dupré, Louis Annabi+3 more|arXiv (Cornell University)|Sep 3, 2018

Reinforcement Learning in Robotics参考文献 13被引用 10

一句话总结

Flatland 是一个轻量级的 2D 第一人称强化学习环境，旨在弥合简单网格世界与复杂 3D 模拟器之间的差距。它通过提供部分可观测、基于物理的导航任务以及 1D 视觉观测，实现快速原型设计与广泛实验，其收敛速度比 VizDoom 中类似任务快两个数量级。

ABSTRACT

Flatland is a simple, lightweight environment for fast prototyping and testing of reinforcement learning agents. It is of lower complexity compared to similar 3D platforms (e.g. DeepMind Lab or VizDoom), but emulates physical properties of the real world, such as continuity, multi-modal partially-observable states with first-person view and coherent physics. We propose to use it as an intermediary benchmark for problems related to Lifelong Learning. Flatland is highly customizable and offers a wide range of task difficulty to extensively evaluate the properties of artificial agents. We experiment with three reinforcement learning baseline agents and show that they can rapidly solve a navigation task in Flatland. A video of an agent acting in Flatland is available here: https://youtu.be/I5y6Y2ZypdA.

研究动机与目标

• 解决终身学习研究中简单网格世界与复杂 3D RL 环境之间缺乏中间基准的问题。
• 提供一个快速、可定制且计算高效的环境，同时保留部分可观测性与第一人称视角等关键现实世界特征。
• 通过降低训练时间和计算成本，实现强化学习研究中的快速实验与统计显著性。
• 作为可扩展平台，用于在最小感官输入条件下评估 RL 代理在日益复杂的导航任务中的表现。
• 为未来扩展支持多智能体交互、物体操作以及多模态传感提供支持。

提出的方法

• Flatland 是一个 2D、第一人称、部分可观测的环境，具备连续物理特性与离散动作，模拟真实世界的感觉运动动态。
• 使用 1D 视觉观测（而非 2D 图像）以降低感官维度并加速训练。
• 该环境与 OpenAI Gym API 兼容，可无缝集成到现有强化学习框架中。
• 支持对障碍物、物体和智能体的物理属性进行自定义，以实现多样化的任务配置。
• 该模拟器设计为可扩展，计划支持多智能体交互、物体操作以及额外传感器。
• 在包含水果与毒物的导航任务上，使用 1D 卷积网络对三种标准强化学习算法——DQN、A3C 和 DFP——进行了评估。

实验结果

研究问题

• RQ1 与 3D 模拟器相比，是否一个具有 1D 视觉观测的轻量级 2D 第一人称环境能够实现 RL 代理的更快、更高效的训练？
• RQ2 在降低计算成本的同时，简化的感官流在多大程度上能够保持现实世界导航任务的复杂性？
• RQ3 在部分可观测、基于物理的 2D 环境中，仅提供极少状态信息时，标准 RL 算法能否实现快速收敛？
• RQ4 Flatland 中 RL 代理的性能与更复杂的 3D 环境（如 VizDoom）中的类似任务相比如何？
• RQ5 Flatland 在终身学习以及未来多智能体或多模态 RL 研究中作为基准的潜力如何？

主要发现

• 所有三种基线 RL 算法——DQN、A3C 和 DFP——均迅速学会在环境中导航，并在导航任务中达到接近人类水平的性能（≈300 奖励）。
• 收敛约在 200,000 个时间步内完成，相比 VizDoom 中类似实验，训练步数减少了两个数量级。
• 在 CPU 上训练 DQN 耗时不足一小时，证明了由于采用 1D 卷积和减少的感官输入，计算成本极低。
• 1D 视觉流同时减少了网络参数数量和每步训练时间，从而实现了更快的优化与更高效的实验。
• 结果证实，低维感官输入可在显著提升训练速度与可扩展性的同时，维持任务的复杂性。
• 该环境支持快速、可复现的实验，采用 30 个独立随机种子，符合强化学习评估中统计显著性的最佳实践。