[论文解读] Generalized Decision Transformer for Offline Hindsight Information Matching

Hiroki Furuta, Yutaka Matsuo+1 more|arXiv (Cornell University)|Nov 19, 2021

Reinforcement Learning in Robotics被引用 10

一句话总结

本文提出广义决策变换器（GDT），一种统一的离线强化学习框架，通过将学习问题建模为事后信息匹配（HIM），将策略条件化于未来轨迹统计量，从而推广了决策变换器。通过改变特征函数和反因果聚合器，GDT 恢复了现有方法并引入了新变体——分类 DT（CDT）用于状态边际匹配，双向 DT（BDT）用于单次模仿学习，其在离线多任务基准上实现了最先进性能，并在未见分布和合成分布上表现出更强泛化能力。

ABSTRACT

How to extract as much learning signal from each trajectory data has been a key problem in reinforcement learning (RL), where sample inefficiency has posed serious challenges for practical applications. Recent works have shown that using expressive policy function approximators and conditioning on future trajectory information -- such as future states in hindsight experience replay or returns-to-go in Decision Transformer (DT) -- enables efficient learning of multi-task policies, where at times online RL is fully replaced by offline behavioral cloning, e.g. sequence modeling. We demonstrate that all these approaches are doing hindsight information matching (HIM) -- training policies that can output the rest of trajectory that matches some statistics of future state information. We present Generalized Decision Transformer (GDT) for solving any HIM problem, and show how different choices for the feature function and the anti-causal aggregator not only recover DT as a special case, but also lead to novel Categorical DT (CDT) and Bi-directional DT (BDT) for matching different statistics of the future. For evaluating CDT and BDT, we define offline multi-task state-marginal matching (SMM) and imitation learning (IL) as two generic HIM problems, propose a Wasserstein distance loss as a metric for both, and empirically study them on MuJoCo continuous control benchmarks. CDT, which simply replaces anti-causal summation with anti-causal binning in DT, enables the first effective offline multi-task SMM algorithm that generalizes well to unseen and even synthetic multi-modal state-feature distributions. BDT, which uses an anti-causal second transformer as the aggregator, can learn to model any statistics of the future and outperforms DT variants in offline multi-task IL. Our generalized formulations from HIM and GDT greatly expand the role of powerful sequence modeling architectures in modern RL.

研究动机与目标

• 将多样化的基于事后经验的强化学习方法统一于事后信息匹配（HIM）的共同框架下。
• 开发一种广义架构 GDT，通过最小的结构改动将决策变换器扩展至解决任意 HIM 问题。
• 通过匹配未来统计量（如状态分布或回报至目标）实现有效的离线多任务学习。
• 提出并验证分类 DT（CDT）用于离线多任务状态边际匹配（SMM），包括对合成双模态分布的泛化能力。
• 引入双向 DT（BDT）用于单次模仿学习，在离线多任务模仿学习中表现优于现有方法。

提出的方法

• 提出广义框架——广义决策变换器（GDT），其中策略通过特征函数 Φ(s,a) 和反因果聚合器条件化于未来轨迹统计量。
• 使用行为克隆与序列建模目标训练策略，使其生成的轨迹匹配未来信息的目标统计量。
• 通过将 DT 的反因果求和替换为分箱操作，提出分类 DT（CDT），实现对状态特征分布的匹配。
• 通过引入第二个 Transformer 作为反因果聚合器，开发双向 DT（BDT），实现对任意未来统计量的建模。
• 采用基于 Wasserstein 距离的度量方法，评估在离线多任务 SMM 和模仿学习任务上的性能。
• 支持多种用于学习特征函数的训练策略，包括自编码与对比学习（CPC），并进行联合微调与冻结微调的消融实验。

实验结果

研究问题

• RQ1 一个统一框架是否能够基于匹配未来轨迹统计量的共同原则，统一多样化的基于事后经验的强化学习方法？
• RQ2 分类 DT（CDT）是否能有效实现离线多任务状态边际匹配，包括对合成双模态分布的泛化能力？
• RQ3 双向 DT（BDT）是否能在离线多任务模仿学习中超越现有方法，特别是在单次设置下？
• RQ4 不同特征函数与反因果聚合器的选择如何影响在 SMM 与 IL 基准上的性能表现？
• RQ5 何种训练策略（如冻结微调与联合微调）能为 GDT 中学习的特征函数带来最优性能？

主要发现

• 分类 DT（CDT）实现了首个有效的离线多任务状态边际匹配算法，在未见分布及合成双模态奖励或状态特征分布上均表现出良好泛化能力。
• BDT 在离线多任务模仿学习中优于现有 DT 变体，在单次模仿学习设置中也展现出具有竞争力的性能。
• 所提出的 Wasserstein 距离度量能有效评估 SMM 与 IL 的性能，支持跨任务的可靠比较。
• 采用学习特征函数（如通过对比学习）的 GDT 表现强劲，其中联合微调优于冻结微调或仅无监督预训练。
• 当使用基于奖励的特征函数与求和聚合时，该框架可成功恢复标准决策变换器作为特例。
• 广义架构通过简单修改特征函数与聚合器组件，可灵活适配多种离线强化学习问题。