[論文レビュー] Hyper-Decision Transformer for Efficient Online Policy Adaptation

Mengdi Xu, Yuchen Lu+4 more|arXiv (Cornell University)|Apr 17, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、わずかな示範例のみを用いて事前学習済みの意思決定トランスフォーマーモデルを新規タスクに迅速にオンライン適応可能な、パラメータ効率の良いフレームワーク、ハイパーディシジョントランスフォーマー（HDT）を提案する。ハイパーネットワークを用いてトランスフォーマー内のアダプタモジュールを条件付きで初期化することで、HDTはパラメータのうちたった0.5%のみを微調整し、エキスパートの行動が存在しない状況でも、完全微調整やプロンプトベースの手法と比較してより速い収束と優れた成功確率を達成する。

ABSTRACT

Decision Transformers (DT) have demonstrated strong performances in offline reinforcement learning settings, but quickly adapting to unseen novel tasks remains challenging. To address this challenge, we propose a new framework, called Hyper-Decision Transformer (HDT), that can generalize to novel tasks from a handful of demonstrations in a data- and parameter-efficient manner. To achieve such a goal, we propose to augment the base DT with an adaptation module, whose parameters are initialized by a hyper-network. When encountering unseen tasks, the hyper-network takes a handful of demonstrations as inputs and initializes the adaptation module accordingly. This initialization enables HDT to efficiently adapt to novel tasks by only fine-tuning the adaptation module. We validate HDT's generalization capability on object manipulation tasks. We find that with a single expert demonstration and fine-tuning only 0.5% of DT parameters, HDT adapts faster to unseen tasks than fine-tuning the whole DT model. Finally, we explore a more challenging setting where expert actions are not available, and we show that HDT outperforms state-of-the-art baselines in terms of task success rates by a large margin.

研究の動機と目的

• 事前学習済み意思決定トランスフォーマーを、最小限のデータと計算リソースで未学習のタスクに効率的に適応する課題に対処すること。
• エキスパートの行動を伴うメタインスツルクション学習（meta-IL）とエキスパートの行動が存在しないメタ学習（meta-LfO）の両方における一般化性能の向上。
• 最小限のパラメータ更新で優れた性能を達成し、完全微調整やプロンプト手法を上回る効率性を維持すること。
• モデルサイズや学習タスクの多様性の変動に伴う、手法のスケーラビリティとロバストネスの探求。

提案手法

• HDTは、事前学習済み意思決定トランスフォーマーに、各トランスフォーマーブロックに挿入された軽量なアダプタモジュールを統合し、適応段階で微調整する。
• ハイパーネットワークが、少数の示範例に基づいてアダプタモジュールの初期パラメータを生成し、タスク固有の情報をエンコードする。
• アダプタはボトルネック構造を用いることでパラメータのオーバーヘッドを最小限に抑え、適応段階でベースモデルの0.5%のパラメータのみを更新する。
• メタ-ILでは、アダプタはエキスパートの示範例を用いて教師ありの方法で微調整される。メタ-LfOでは、状態情報のみを用いてオンライン強化学習により更新される。
• ハイパーネットワークは多様なタスクで学習させ、未学習のタスクへの一般化を可能にし、エキスパートの行動が不要な状況でも効果的な初期化を実現する。
• このフレームワークは、少数ショットのインスツルクション学習と、未学習の環境へのゼロショット転送の両方をサポートする。

Figure 1: Efficient online policy adaptation of pre-trained transformer models with few-shot demonstrations. To facilitate data efficiency, we introduce a demonstration-conditioned adaptation module that helps leverage prior knowledge in the demonstration and guide exploration. When adapting to nove

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットワークが、未学習のタスクにおける迅速かつ効率的なポリシー適応を可能にするために、アダプタのパラメータを効果的に初期化できるか？
• RQ2 HDTの性能は、データおよびパラメータ効率の観点から、完全微調整やプロンプトベースの手法と比較してどうなるか？
• RQ3 エキスパートの行動が利用できない、すなわちメタ-LfO設定下でもHDTは新規タスクに一般化可能か？
• RQ4 モデルサイズや学習タスクの多様性は、HDTの一般化性能および適応性能にどのように影響するか？
• RQ5 ハイパーネットワークは、アダプタのパラメータに意味のあるタスク固有の情報を効果的に抽出・エンコードしているか？

主な発見

• エキスパートの示範例を1つだけ用い、モデルパラメータの0.5%のみを微調整することで、HDTは意思決定トランスフォーマーの完全微調整よりも未学習タスクへの適応がはやい。
• エキスパートの行動が存在しないメタ-LfO設定下でも、HDTは最先端のベースラインを大きく上回る成功確率を達成し、強力な一般化性能を示している。
• 可視化により、異なるタスク間で区別可能なアダプタパラメータの分布が得られ、ハイパーネットワークがタスク固有の情報を効果的にエンコードしていることが裏付けられた。
• アダプタのボトルネックサイズやベースDTのモデルサイズを小さくすると、収束が遅くなり、性能が低下する傾向が顕著に現れ、特にメタ-LfO設定下で顕著である。
• 学習タスクの多様性が増加し、モデルサイズが大きくなると、HDTは成功確率が向上し、収束が速くなることが確認され、スケーラビリティが裏付けられた。
• 特に成功確率とデータ効率の観点で、HDTはプロンプトチューニングやIA3ベースの微調整ベースラインを大きく上回った。

Figure 2: Model architecture of Hyper-Decision Transformer (HDT). Similar to DT, HDT takes recent contexts as input and outputs fine-grind actions. To encode task-specific information, HDT injects adapter layers into each decoder block. The adapter layer’s parameters come from a stand-alone hyper-ne