[論文レビュー] Contextual Transformer for Offline Meta Reinforcement Learning

Runji Lin, Ye Li+7 more|arXiv (Cornell University)|Nov 15, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、オフラインの遷移データに対するプロンプトチューニングと自己教師付き事前学習を活用することで、ポリシーの一般化性能を向上させる、新しいオフラインメタ強化学習フレームワークであるコンテキストメタトランスフォーマー（CMT）を提案する。タスク固有のコンテキストをプロンプトとして扱うことで、D4RL、MuJoCo、SMACベンチマークにおいて優れた性能を示し、未学習のタスクに対してもゼロショット適応が可能となる。

ABSTRACT

The pretrain-finetuning paradigm in large-scale sequence models has made significant progress in natural language processing and computer vision tasks. However, such a paradigm is still hindered by several challenges in Reinforcement Learning (RL), including the lack of self-supervised pretraining algorithms based on offline data and efficient fine-tuning/prompt-tuning over unseen downstream tasks. In this work, we explore how prompts can improve sequence modeling-based offline reinforcement learning (offline-RL) algorithms. Firstly, we propose prompt tuning for offline RL, where a context vector sequence is concatenated with the input to guide the conditional policy generation. As such, we can pretrain a model on the offline dataset with self-supervised loss and learn a prompt to guide the policy towards desired actions. Secondly, we extend our framework to Meta-RL settings and propose Contextual Meta Transformer (CMT); CMT leverages the context among different tasks as the prompt to improve generalization on unseen tasks. We conduct extensive experiments across three different offline-RL settings: offline single-agent RL on the D4RL dataset, offline Meta-RL on the MuJoCo benchmark, and offline MARL on the SMAC benchmark. Superior results validate the strong performance, and generality of our methods.

研究の動機と目的

• オフライン強化学習における自己教師付き事前学習と効率的なファインチューニングの欠如に対処すること。
• タスクコンテキストを学習可能なプロンプトとしてエンコードすることで、メタRLにおけるゼロショットおよびフェイントショット一般化を向上させること。
• コンテキストプロンプトを用いて、シーケンスモデリングベースのオフラインRLをメタRL設定に拡張し、ポリシー転送を改善すること。
• オフラインデータで事前学習し、タスク固有の適応をプロンプトチューニングで行う統合フレームワークの開発。

提案手法

• ポリシープロンプトを用いた自己回帰的再構成損失で、オフライン遷移データに基づいてトランスフォーマー型モデルを事前学習する。
• プロンプトチューニングの導入：学習可能なコンテキストベクトルを入力シーケンスに連結し、ポリシー生成を条件づける。
• 類似した遷移をクラスタリングし、異なる行動に対して判別的なプロンプトを学習するためにコントラスト損失を用いる。
• ファインチューニング時に行動制約を適用することで、分布シフトと過学習を防ぐ。
• タスク固有のコンテキストシーケンスをプロンプトとして用いることで、ゼロショット適応を実現するメタRLへのフレームワークの拡張。
• プロンプト最適化中にワールドモデルを活用し、報酬獲得行動の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 プロンプトチューニングはオフライン強化学習におけるサンプル効率と性能を向上させるか？
• RQ2 プロンプトチューニングは、未学習のメタRLタスク間でのゼロショット適応にどの程度効果的か？
• RQ3 コントラスト損失と行動制約のプロンプト品質およびポリシー一般化に与える影響は何か？
• RQ4 最小限のタスク固有適応で、シーケンスモデリングアプローチがオフラインメタRL問題を効果的に解けるか？
• RQ5 タスクプロンプトの品質（例：エキスパート vs. 中程度 vs. コンテキストなし）がゼロショット性能に与える影響は何か？

主な発見

• プロンプトチューニングにより、プロンプトチューニングなしのベースラインモデルと比較して平均報酬が65.8%向上した。
• コントラスト損失は不可欠である：その係数を10^-6に低下させると、プロンプトクラスタリングが悪化し、平均報酬が50.9%低下した。
• 行動制約は不可欠である：係数を0にすると（無効化すると）、性能が128%も低下し、深刻な過学習が生じた。
• オフラインで得たタスクプロンプト（中程度またはエキスパート品質）を用いることで、オンラインコンテキストを用いたゼロショット適応と比較して、それぞれ4%および7%の性能向上が達成された。
• 全コンポONENTを備えたCMTモデルは、D4RL、MuJoCo、SMACベンチマークで最先端の性能を達成した。
• CMTは、オフラインメタRLにおけるシーケンスモデリングベースの手法として初のものであり、多様な環境で強力な一般化性能を示した。