[论文解读] Language is Power: Representing States Using Natural Language in Reinforcement Learning

Erez Schwartz, Guy Tennenholtz+2 more|arXiv (Cornell University)|Oct 2, 2019

Reinforcement Learning in Robotics参考文献 26被引用 4

一句话总结

本文提出在强化学习中使用自然语言而非原始视觉输入来表示状态，利用预训练语言模型编码语义信息。在ViZDoom环境中，基于语言的智能体在样本效率、鲁棒性和最终性能方面均优于基于视觉的智能体，表明自然语言是强化学习中一种强大的语义状态表示方法。

ABSTRACT

Recent advances in reinforcement learning have shown its potential to tackle complex real-life tasks. However, as the dimensionality of the task increases, reinforcement learning methods tend to struggle. To overcome this, we explore methods for representing the semantic information embedded in the state. While previous methods focused on information in its raw form (e.g., raw visual input), we propose to represent the state using natural language. Language can represent complex scenarios and concepts, making it a favorable candidate for representation. Empirical evidence, within the domain of ViZDoom, suggests that natural language based agents are more robust, converge faster and perform better than vision based agents, showing the benefit of using natural language representations for reinforcement learning.

研究动机与目标

• 探究自然语言是否可作为强化学习中有效的语义状态表示。
• 在复杂强化学习环境中，比较基于语言的状态表示与原始视觉输入及语义分割表示的性能。
• 评估在环境扰动和干扰因素下，基于语言的智能体的鲁棒性与样本效率。
• 探索利用自然语言编码主观性、非结构化且高维状态信息的可行性。
• 评估语言表示在提升强化学习智能体可解释性与责任性方面的潜力。

提出的方法

• 使用基于规则或学习的解析器生成自然语言描述来表示状态，以捕捉环境的语义内容。
• 利用预训练的上下文语言模型（如BERT）提取句子嵌入，随后通过一维卷积神经网络进行特征提取。
• 将所得的句子表示作为标准深度强化学习算法（如DQN和PPO）的输入，用于策略学习。
• 该框架在ViZDoom环境中进行评估，其中状态通过反映空间、物体和动作相关信息的自然语言句子进行描述。
• 通过引入视觉杂乱和环境变化等干扰因素，测试鲁棒性，衡量不同表示类型下的性能退化情况。
• 进行超参数消融研究，分析输入序列长度和语言模型中补丁数量的影响。

实验结果

研究问题

• RQ1 与原始视觉输入相比，自然语言表示是否能提升深度强化学习中的样本效率和最终性能？
• RQ2 在环境扰动和干扰因素下，基于语言的智能体与基于视觉的智能体相比，其鲁棒性如何？
• RQ3 在哪些类型环境或状态空间中，自然语言表示具有显著优势？
• RQ4 自然语言表示能否有效编码难以用像素或向量形式表示的主观性、瞬态性或非结构化信息？
• RQ5 基于语言的状态表示在多大程度上可增强强化学习智能体的可解释性与责任性？

主要发现

• 在ViZDoom的'防守中心'场景中，基于语言的智能体获得了比基于视觉的智能体更高的最终平均奖励，表现出更优的性能。
• 基于语言的智能体收敛更快，展现出更高的样本效率，显著减少了达到峰值性能所需的训练步数。
• 鲁棒性评估表明，与基于视觉的智能体相比，基于语言的智能体对环境干扰和视觉杂乱具有更强的抗性。
• 即使环境引入了干扰元素，基于语言的智能体性能依然保持稳定，表明其具备更强的泛化能力。
• 消融研究显示，增加语言模型中的输入补丁数量可提升性能，表明更丰富的文本上下文能增强表示质量。
• 本研究证明，自然语言表示可有效编码复杂语义内容，包括空间关系、物体状态和与任务相关的动态信息，在语义丰富度和学习效率方面优于原始像素输入。