[論文レビュー] Bootstrapped Transformer for Offline Reinforcement Learning

Kerong Wang, Hanye Zhao+4 more|arXiv (Cornell University)|Jun 17, 2022

Reinforcement Learning in Robotics被引用数 13

ひとこと要約

本稿では、事前学習されたTransformerを用いて自己生成された高信頼度の合成軌道を生成し、それをブートストラップループでモデルを微調整する、新しいオフライン強化学習手法であるBootstrapped Transformer (BooT) を提案する。この手法は、データカバレッジと分布の一貫性を向上させることで、追加の正則化や環境モデル化を必要とせずに、D4RLベンチマーク上で強力なベースラインを大きく上回る性能を達成する。

ABSTRACT

Offline reinforcement learning (RL) aims at learning policies from previously collected static trajectory data without interacting with the real environment. Recent works provide a novel perspective by viewing offline RL as a generic sequence generation problem, adopting sequence models such as Transformer architecture to model distributions over trajectories, and repurposing beam search as a planning algorithm. However, the training datasets utilized in general offline RL tasks are quite limited and often suffer from insufficient distribution coverage, which could be harmful to training sequence generation models yet has not drawn enough attention in the previous works. In this paper, we propose a novel algorithm named Bootstrapped Transformer, which incorporates the idea of bootstrapping and leverages the learned model to self-generate more offline data to further boost the sequence model training. We conduct extensive experiments on two offline RL benchmarks and demonstrate that our model can largely remedy the existing offline RL training limitations and beat other strong baseline methods. We also analyze the generated pseudo data and the revealed characteristics may shed some light on offline RL training. The codes are available at https://seqml.github.io/bootorl.

研究の動機と目的

• オフライン強化学習におけるデータカバレッジの問題と限られたデータセットサイズの課題に取り組むこと。これらは、系列モデルの有効な学習を妨げる要因である。
• 外部のデータ拡張や環境ダイナミクスモデル化に依存せずに、分布カバレッジの向上とモデルの一般化能力の強化を図る手法を開発すること。
• 訓練済みの系列モデルから自己生成された軌道が、繰り返しブートストラップを行うことでポリシー性能を効果的に向上させられるかを検証すること。
• 異なる生成およびブートストラップ戦略がモデル性能および学習安定性に与える影響を評価すること。

提案手法

• 本手法は、オフライン軌道の状態-行動-報酬系列の同時分布を、自己回帰的トークン系列として扱うことで、事前学習済みTransformerでモデル化する。
• 生成には2つのスキームを用いる：自己回帰的生成と教師強制ベースの生成。両者とも学習済みモデルに条件付けられている。
• 系列尤度に基づいて高信頼度の生成軌道を選別し、ブートストラップループでモデルを再訓練する。
• 2つのブートストラップ戦略を評価する：生成データに対する一度の微調整と、複数の学習サイクルにわたり生成データを繰り返し利用する戦略。
• モデル自身が学習した分布を活用することで、外部のデータ拡張やダイナミクスモデル化を回避し、一貫性があり妥当な軌道を生成する。
• ブートストラップ開始閾値、生成割合、系列長といったハイパーパrameterをアブレーションし、性能最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み系列モデルから生成された自己生成軌道は、データが限られた環境下でオフラインRLの性能を効果的に向上させることができるか？
• RQ2 自己回帰的生成と教師強制の2つの生成戦略は、生成軌道の品質と実用性にどのように影響を与えるか？
• RQ3 訓練エポックとデータ比の観点から、ブートストラップの最適タイミングと規模は何か？
• RQ4 高信頼度の生成データを用いることで、ランダムまたはノイズ混在の拡張処理と比較して、分布シフトを低減し一般化性能を向上させられるか？

主な発見

• BooTはD4RLオフラインRLベンチマークでSOTA性能を達成し、TD3+BC や SAC といった強力なベースラインを顕著に上回る。
• 複数の環境にわたり高いロバスト性を示し、特にGymドメインではオンラインRLベースラインに近い性能を達成する。
• アブレーションスタディの結果、ブートストラップを早すぎるか遅すぎるタイミングで開始すると性能が低下し、最適な閾値は学習エポックの約20%の地点にあることが判明した。
• 生成割合（η%）は性能に非単調な影響を及ぼし、中程度の値でピークを示す。これは、データ量と品質のトレードオフを示している。
• 生成時の系列長T′ = 1が最も優れた結果をもたらし、短く高信頼度の系列がブートストラップに最も効果的であることを示唆している。
• 生成データに対して損失重み付きの再訓練は、ランダム再訓練よりも性能を向上させるが、BooTは依然としてそれらを上回る性能を示し、そのブートストラップ機構の優位性を確認した。