[論文レビュー] When should we prefer Decision Transformers for Offline Reinforcement Learning?

Prajjwal Bhargava, Rohan Chitnis+3 more|arXiv (Cornell University)|May 23, 2023

Evolutionary Algorithms and Applications被引用数 5

ひとこと要約

本稿は、オフライン強化学習における意思決定トランスフォーマー（DT）が、Q学習および模倣学習を上回る状況を調査する。d4rlおよびrobomimicベンチマークにおける実験的評価を通じて、DTは劣悪なデータや報酬が疎なデータに対してより頑健であることが判明した。劣悪なデータや複雑な設定下でも、より多くのデータを必要とするが、性能が優れている。特に、データ量を5倍にスケーリングすることで、Atari環境での平均スコアが2.5倍向上した。

ABSTRACT

Offline reinforcement learning (RL) allows agents to learn effective, return-maximizing policies from a static dataset. Three popular algorithms for offline RL are Conservative Q-Learning (CQL), Behavior Cloning (BC), and Decision Transformer (DT), from the class of Q-Learning, Imitation Learning, and Sequence Modeling respectively. A key open question is: which algorithm is preferred under what conditions? We study this question empirically by exploring the performance of these algorithms across the commonly used D4RL and Robomimic benchmarks. We design targeted experiments to understand their behavior concerning data suboptimality, task complexity, and stochasticity. Our key findings are: (1) DT requires more data than CQL to learn competitive policies but is more robust; (2) DT is a substantially better choice than both CQL and BC in sparse-reward and low-quality data settings; (3) DT and BC are preferable as task horizon increases, or when data is obtained from human demonstrators; and (4) CQL excels in situations characterized by the combination of high stochasticity and low data quality. We also investigate architectural choices and scaling trends for DT on Atari and D4RL and make design/scaling recommendations. We find that scaling the amount of data for DT by 5x gives a 2.5x average score improvement on Atari.

研究の動機と目的

• オフライン強化学習におけるシーケンスモデリング（意思決定トランスフォーマーを用いた）が、Q学習および模倣学習を上回る条件を特定すること。
• DT、CQL、BCの各手法が、データ品質、タスクの複雑さ、環境の特性の変化に対してどれほど頑健であるかを評価すること。
• 実世界のオフライン強化学習設定においてDTを導入するための実用的設計提案を提供すること。
• 特にAtariおよびd4rl環境において、データ量およびモデルサイズのスケーリング効果がDTの性能に与える影響を調査すること。

提案手法

• d4rlおよびrobomimicベンチマーク上で、保守的Q学習（CQL）、行動クローン（BC）、意思決定トランスフォーマー（DT）の3つのパラダイムを実験的に比較する。
• 最良のX%または最悪のX%の軌道を用いて学習することで、劣悪なデータに対する頑健性を評価する。
• 軌道長の延長および行動ノイズの注入を実施し、オフラインデータセットにおける探索の模擬を試みる。
• モデルサイズおよびデータ量を変化させることでスケーラビリティを評価し、Atariおよびd4rl環境における性能向上を測定する。
• すべてのモデルで標準的なハイパーパrameterおよび学習プロトコルを用いて、公平な比較を確保する。
• DTにおけるリターン・トゥ・ゴーの条件付けおよびコンテキストウインドウの使用を分析し、学習率およびコンテキスト長に関するアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 高品質なデータと低品質なデータサブセットで学習した場合、DT、CQL、BCの性能はどのように変化するか？
• RQ2 軌道長および行動ノイズの増加が、各オフライン強化学習パラダイムの頑健性にどのように影響するか？
• RQ3 状態空間のサイズおよびタスクの時間枠（タスクホライズン）によって測定されるタスクの複雑さが、3つのパラダイムの相対的性能に与える影響は何か？
• RQ4 データ量およびモデルサイズの観点から、DTのスケーリング則は何か？ また、それらはAtariおよびd4rl環境での性能にどのように影響するか？
• RQ5 どのような状況下で、シーケンスモデリングがQ学習や模倣学習よりも優れた選択肢となるか？

主な発見

• 意思決定トランスフォーマーによるシーケンスモデリングは、Q学習に比べて、とくに報酬が疎な状況や低品質データ環境下で、データの非最適性に対してより頑健である。
• DTはQ学習よりも競争的性能を達成するためのデータ量を必要とするが、データ品質の低下下でも顕著に優れた一般化性能を示す。
• DTのデータ量を5倍にスケーリングすることで、Atari環境での平均スコアが2.5倍向上した。
• 大きなDTモデルは収束に必要な学習ステップ数が少なく、容量の増加に伴いサンプル効率が向上していることが示された。
• 人間の模倣者がデータを収集する状況や、長時間のタスクにおいて、DTおよび模倣学習はQ学習を上回る性能を発揮する。
• 高次元の状態空間や長いタスクホライズンを伴う状況では、DTは性能を維持するが、Q学習およびBCは性能を低下させる。