[论文解读] Hyper-Decision Transformer for Efficient Online Policy Adaptation

Mengdi Xu, Yuchen Lu+4 more|arXiv (Cornell University)|Apr 17, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出Hyper-Decision Transformer（HDT），一种参数高效的框架，仅需少量示范即可实现预训练决策变压器在新任务上的快速在线微调。通过使用超网络有条件地初始化变压器中的适配器模块，HDT仅微调0.5%的参数，其收敛速度更快，成功率也优于全量微调或提示基线方法，即使在无专家动作的情况下亦如此。

ABSTRACT

Decision Transformers (DT) have demonstrated strong performances in offline reinforcement learning settings, but quickly adapting to unseen novel tasks remains challenging. To address this challenge, we propose a new framework, called Hyper-Decision Transformer (HDT), that can generalize to novel tasks from a handful of demonstrations in a data- and parameter-efficient manner. To achieve such a goal, we propose to augment the base DT with an adaptation module, whose parameters are initialized by a hyper-network. When encountering unseen tasks, the hyper-network takes a handful of demonstrations as inputs and initializes the adaptation module accordingly. This initialization enables HDT to efficiently adapt to novel tasks by only fine-tuning the adaptation module. We validate HDT's generalization capability on object manipulation tasks. We find that with a single expert demonstration and fine-tuning only 0.5% of DT parameters, HDT adapts faster to unseen tasks than fine-tuning the whole DT model. Finally, we explore a more challenging setting where expert actions are not available, and we show that HDT outperforms state-of-the-art baselines in terms of task success rates by a large margin.

研究动机与目标

• 解决如何以最少的数据和计算量，高效地将预训练的决策变压器适配到未见任务的挑战。
• 在元模仿学习（含专家动作）和元观察学习（不含专家动作）中提升泛化能力。
• 通过极小的参数更新量实现优异性能，同时在效率上优于全量微调和提示方法。
• 探索在不同模型规模和训练任务多样性下，该方法的可扩展性和鲁棒性。

提出的方法

• HDT将预训练的决策变压器与轻量级适配器模块结合，适配器模块插入每个变压器块中，并在适配过程中进行微调。
• 超网络基于少量示范生成适配器模块的初始参数，以编码任务特定信息。
• 适配器采用瓶颈结构以最小化参数开销，仅更新基础模型0.5%的参数。
• 在元-IL中，适配器通过专家示范以监督方式微调；在元-LfO中，仅使用状态通过在线强化学习进行更新。
• 超网络在多样化任务上进行训练，以实现对未见任务的泛化，从而在无需专家动作的情况下实现有效初始化。
• 该框架支持少样本模仿学习和对未见环境的零样本迁移，展现出强大的数据效率。

Figure 1: Efficient online policy adaptation of pre-trained transformer models with few-shot demonstrations. To facilitate data efficiency, we introduce a demonstration-conditioned adaptation module that helps leverage prior knowledge in the demonstration and guide exploration. When adapting to nove

实验结果

研究问题

• RQ1 超网络能否有效初始化适配器参数，以实现在未见任务中快速且高效的策略适配？
• RQ2 在数据效率和参数效率方面，HDT的性能与全量微调和基于提示的方法相比如何？
• RQ3 当缺乏专家动作时，HDT能否在元-LfO设置下泛化到新任务？
• RQ4 模型规模和训练任务多样性如何影响HDT的泛化与适配性能？
• RQ5 超网络是否成功提取并编码了有意义的任务特定信息到适配器参数中？

主要发现

• 仅使用一个专家示范并仅微调模型0.5%的参数，HDT在未见任务上的适配速度即快于对决策变压器进行全量微调。
• 在无专家动作的元-LfO设置下，HDT在成功率上显著优于最先进基线方法，展现出强大的泛化能力。
• 可视化结果表明，不同任务下适配器参数分布具有可区分性，证明超网络成功编码了任务特定信息。
• 减小适配器的瓶颈尺寸或基础DT的模型规模，会导致收敛速度变慢且性能下降，尤其在元-LfO设置下更为明显。
• 随着训练任务多样性和模型规模的增加，HDT展现出更高的成功率和更快的收敛速度，证实了其可扩展性。
• 在元-IL和元-LfO设置下，HDT显著优于提示微调和IA3基线方法，尤其在成功率和数据效率方面优势明显。

Figure 2: Model architecture of Hyper-Decision Transformer (HDT). Similar to DT, HDT takes recent contexts as input and outputs fine-grind actions. To encode task-specific information, HDT injects adapter layers into each decoder block. The adapter layer’s parameters come from a stand-alone hyper-ne