[论文解读] Elastic Decision Transformer

Yueh-Hua Wu, Xiaolong Wang+1 more|arXiv (Cornell University)|Jul 5, 2023

Anomaly Detection Techniques and Applications被引用 5

一句话总结

弹性决策转换器（EDT）通过在推理过程中动态调整历史长度，增强了决策转换器，实现了轨迹拼接——即对次优路径使用较短的历史，对最优路径使用较长的历史。该方法提升了序列生成性能，在D4RL和Atari基准测试中优于标准决策转换器和基于Q-learning的方法，通过次优演示学习到了更优的策略。

ABSTRACT

This paper introduces Elastic Decision Transformer (EDT), a significant advancement over the existing Decision Transformer (DT) and its variants. Although DT purports to generate an optimal trajectory, empirical evidence suggests it struggles with trajectory stitching, a process involving the generation of an optimal or near-optimal trajectory from the best parts of a set of sub-optimal trajectories. The proposed EDT differentiates itself by facilitating trajectory stitching during action inference at test time, achieved by adjusting the history length maintained in DT. Further, the EDT optimizes the trajectory by retaining a longer history when the previous trajectory is optimal and a shorter one when it is sub-optimal, enabling it to "stitch" with a more optimal trajectory. Extensive experimentation demonstrates EDT's ability to bridge the performance gap between DT-based and Q Learning-based approaches. In particular, the EDT outperforms Q Learning-based methods in a multi-task regime on the D4RL locomotion benchmark and Atari games. Videos are available at: https://kristery.github.io/edt/

研究动机与目标

• 为解决决策转换器在轨迹拼接方面的局限性，即无法从次优演示中形成最优轨迹。
• 通过根据轨迹质量自适应调整历史长度，在离线强化学习中实现更优的决策。
• 通过利用可变长度的历史输入，在多任务离线强化学习设置中提升性能。
• 开发一种计算效率高的方法，在无需重大架构修改的前提下增强决策转换器。

提出的方法

• EDT使用分位数回归估计不同历史长度下的最大可实现回报，从而在推理时识别最优历史长度。
• 模型选择能最大化估计回报的历史长度，使其在遇到次优轨迹时能够‘刷新’其上下文。
• 对于次优路径，使用较短的历史以减少不良过去动作的影响，提升探索潜力。
• 对于最优路径，保留更长的历史以维持动作预测的稳定性和一致性。
• 该方法可无缝集成到现有决策转换器框架中，计算开销极小。
• 通过允许模型在当前路径次优时切换到更优的未来轨迹，实现了轨迹拼接。

Figure 1 : Normalized return with medium-replay datasets. The dotted gray lines indicate normalized return with medium datasets. By achieving trajectory stitching, our method benefits from worse trajectories and learns a better policy.

实验结果

研究问题

• RQ1 在决策转换器中采用动态历史长度是否能有效实现从次优演示中的轨迹拼接？
• RQ2 根据轨迹质量调整历史长度如何影响离线强化学习中的策略性能？
• RQ3 可学习的历史长度机制是否能在多任务离线强化学习中超越固定长度历史方法？
• RQ4 与基于Q-learning和标准决策转换器的方法相比，所提出方法是否在D4RL和Atari等标准基准测试中表现更优？

主要发现

• 在D4RL运动控制基准测试的多任务设置中，EDT优于基于Q-learning的方法，展现出更高的样本效率和更优的策略质量。
• 在Atari游戏中，EDT在所有离线强化学习方法中达到最先进性能，超越了决策转换器和基于Q-learning的基线方法。
• 该方法成功实现了轨迹拼接，使智能体能够将次优轨迹中的更优片段组合起来，形成整体更优的轨迹。
• EDT通过基于价值函数估计动态选择最优历史长度，在多样化环境中显著提升了性能。
• EDT引入的计算开销极小，使其可实用化地集成到现有决策转换器变体中。
• 实证结果表明，EDT显著提升了标准决策转换器的性能，尤其在复杂、多任务的离线强化学习场景中。

Figure 2 : An overview of our Elastic Decision Transformer architecture. $\tilde{R}$ is the prediction of the maximum return. We also show the environments we used in the experiments on the right. We adopt four tasks for D4RL [ 15 ] and $20$ tasks for Atari games.