[论文解读] The PlayStation Reinforcement Learning Environment (PSXLE)

Carlos Purves, Cătălina Cangea+1 more|arXiv (Cornell University)|Dec 12, 2019

Artificial Intelligence in Games参考文献 14被引用 8

一句话总结

本文提出了 PSXLE，一个基于修改版 PlayStation 1 模拟器构建的强化学习环境，其状态表示丰富，包括原始音频、RAM 和显示输出。该环境通过兼容 OpenAI Gym 的接口，使智能体能够在 Kula World 等复杂游戏中进行训练，表明音频增强的状态空间可提升强化学习研究中的学习效率与算法评估能力，超越传统基于 Atari 的基准测试。

ABSTRACT

We propose a new benchmark environment for evaluating Reinforcement Learning (RL) algorithms: the PlayStation Learning Environment (PSXLE), a PlayStation emulator modified to expose a simple control API that enables rich game-state representations. We argue that the PlayStation serves as a suitable progression for agent evaluation and propose a framework for such an evaluation. We build an action-driven abstraction for a PlayStation game with support for the OpenAI Gym interface and demonstrate its use by running OpenAI Baselines.

研究动机与目标

• 为解决现有强化学习基准的局限性，引入一个更复杂、更真实的环境，具备更丰富的状态表示。
• 探索将音频作为强化学习中的一等状态模态的整合，尽管音频处理技术已取得进展，但其在强化学习中的应用仍被低估。
• 扩展 OpenAI Gym 生态系统，以支持具有更高状态空间保真度的 PlayStation 1 游戏。
• 提供一个可扩展的、与游戏无关的框架，用于在更复杂、视觉和听觉丰富的环境中训练和评估强化学习智能体。
• 证明更丰富的状态编码（包括音频）可提升复杂游戏环境中学习效率与智能体性能。

提出的方法

• 通过进程间通信（IPC）机制扩展 PCSX-R 模拟器，以实时暴露包含音频、RAM 和显示输出在内的主机状态。
• 设计一个与游戏无关的抽象层，将主机状态映射为与 OpenAI Gym 兼容的标准接口。
• 通过 save_state 和 load_state 函数实现基于动作的状态重放机制，使智能体能够回溯并重新执行先前状态下的动作。
• 通过捕获原始波形并提取梅尔频率倒谱系数（MFCCs），引入音频状态编码，用于状态表示。
• 使用 OpenAI Baselines（深度 Q 网络和 PPO2）在 Kula World 上训练和评估智能体，输入包含视觉和音频状态。
• 对过去 10 个训练周期的累积奖励进行移动平均，以平滑训练曲线，并评估智能体在多个关卡中的熟练程度。

实验结果

研究问题

• RQ1 一个支持原始音频、RAM 和显示输出访问的基于 PlayStation 1 的强化学习环境，能否作为评估先进强化学习算法的可行基准？
• RQ2 与仅依赖视觉的状态表示相比，将音频作为状态模态是否能提升学习效率与智能体性能？
• RQ3 现有强化学习算法（如 DQN 和 PPO2）在更复杂、视觉与听觉丰富的游戏环境中，其泛化能力在多大程度上得以体现？
• RQ4 基于动作的状态重放机制是否能减少复杂游戏环境中的训练时间并提升样本效率？
• RQ5 与 Atari-2600 游戏相比，PlayStation 1 游戏的更高复杂度是否能带来对强化学习智能体泛化能力与鲁棒性更深层次的评估？

主要发现

• DQN 和 PPO2 基线模型在 Kula World 上均实现了稳定的训练曲线，其中 PPO2 在样本效率和最终性能方面优于 DQN。
• 使用视觉状态编码训练的智能体在 1,600 个训练周期后累积奖励约为 1,200，表明其在多个关卡中实现了有效学习。
• 在预留的起始位置进行的评估显示性能一致，过去 5 个验证周期的移动平均结果确认了策略学习的稳定性。
• 音频波形和 MFCCs 被成功捕获与处理，证明了将音频整合进强化学习状态表示的可行性。
• 通过 save_state 和 load_state 方法实现的基于动作的状态重放机制被证明实现简单，且可能有助于缩短训练时间。
• PSXLE 框架成功实现了与 OpenAI Gym 的集成，使现成的强化学习算法可经最小修改应用于 PlayStation 1 游戏。