[论文解读] Graph Decision Transformer

Shengchao Hu, Li Shen+2 more|arXiv (Cornell University)|Mar 7, 2023

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出图决策变压器（GDT），一种新型离线强化学习方法，通过将状态-动作-奖励序列建模为因果图，以更好地捕捉时间依赖性和因果依赖性。通过使用关系增强注意力的图变压器，并结合可选的序列变压器处理视觉输入，GDT在Atari和OpenAI Gym基准测试中实现了最先进性能，尤其在长序列和高信息密度环境中优于现有方法。

ABSTRACT

Offline reinforcement learning (RL) is a challenging task, whose objective is to learn policies from static trajectory data without interacting with the environment. Recently, offline RL has been viewed as a sequence modeling problem, where an agent generates a sequence of subsequent actions based on a set of static transition experiences. However, existing approaches that use transformers to attend to all tokens naively can overlook the dependencies between different tokens and limit long-term dependency learning. In this paper, we propose the Graph Decision Transformer (GDT), a novel offline RL approach that models the input sequence into a causal graph to capture potential dependencies between fundamentally different concepts and facilitate temporal and causal relationship learning. GDT uses a graph transformer to process the graph inputs with relation-enhanced mechanisms, and an optional sequence transformer to handle fine-grained spatial information in visual tasks. Our experiments show that GDT matches or surpasses the performance of state-of-the-art offline RL methods on image-based Atari and OpenAI Gym.

研究动机与目标

• 为解决标准Transformer在离线强化学习中对状态、动作与奖励之间依赖关系建模不足的问题，通过更有效地建模其依赖关系。
• 通过在输入序列中显式编码因果关系，提升非马尔可夫环境中长序列依赖学习能力。
• 通过整合针对补丁的序列变压器，保留视觉输入中的细粒度空间信息。
• 通过在输入表示中引入因果结构，减少对返回目标奖励塑造的依赖。
• 在图像为基础的离线强化学习基准（如Atari和OpenAI Gym）中实现最先进性能。

提出的方法

• 将状态-动作-奖励三元组的输入序列转换为因果图，其中节点代表标记，边编码时间与因果关系。
• 使用节点嵌入与边嵌入计算图注意力机制中的查询（Q）与键（K）矩阵，而仅使用节点嵌入计算值（V）矩阵。
• 应用图变压器处理图结构化输入，实现对长期依赖与因果先验的有效建模。
• 集成可选的序列变压器，将图像状态按补丁处理（类似ViT），提升视觉任务中的空间特征提取能力。
• 通过三种方式连接图变压器与序列变压器：替换、融合或堆叠，其中堆叠在高信息密度环境中表现最优。
• 将模型训练为监督序列建模任务，基于输入图与可选的视觉编码，预测动作序列。

Figure 1: Comparison of GDT and DT. GDT employs additional edge embeddings and node embeddings to obtain Q and K, while using only node embeddings to obtain V.

实验结果

研究问题

• RQ1 将离线强化学习输入建模为因果图，是否相比标准序列建模能更有效地提升长期依赖学习能力？
• RQ2 在非马尔可夫环境中，显式编码状态、动作与奖励之间的因果关系，对性能有何影响？
• RQ3 在离线强化学习基准中，使用关系增强注意力的图变压器是否优于标准Transformer？
• RQ4 在视觉强化学习环境中，可选的序列变压器在多大程度上提升了动作预测性能？
• RQ5 GDT在不同奖励设置下的表现如何，特别是在减少对返回目标依赖方面的表现？

主要发现

• GDT在基于图像的Atari和OpenAI Gym离线强化学习环境中，优于最先进方法，实现了新的最先进结果。
• 随着输入序列长度增加，GDT表现出显著性能提升，而标准决策变压器性能趋于饱和，表明其具备更优的长序列建模能力。
• 图结构输入降低了对返回目标奖励塑造的依赖，GDT在逐步奖励设置下仍保持强性能，而DT则表现欠佳。
• 在高信息密度的Atari环境中，GDT-Stack连接方法（在序列变压器末尾堆叠图特征）在特征精炼方面表现最佳。
• 在低信息密度的Gym环境中，GDT-Fusion方法（早期融合图与序列特征）通过有效结合不同抽象层次，实现了更优结果。
• 因果图表示有助于更好地解耦策略与世界动态，提升泛化能力，并减少价值估计中的过度乐观现象。

Figure 2: The proposed model comprises three main components: the Graph Representation, the Graph Transformer, and an optional Sequence Transformer. When the output of the Graph Transformer is used directly for action prediction, the resulting model is referred to as GDT, which includes only the lef