[論文レビュー] Q-learning Decision Transformer: Leveraging Dynamic Programming for Conditional Sequence Modelling in Offline RL

Taku Yamagata, Ahmed Khalil+1 more|arXiv (Cornell University)|Sep 8, 2022

Reinforcement Learning in Robotics被引用数 12

ひとこと要約

本稿では、Q学習の動的計画法による推定を活用して、オフラインデータセット内のリターン・トゥ・ゴール（RTG）値を再ラベルすることにより、決定トランスフォーマーモデルに「ステッチング能力」を付与するハイブリッドなオフライン強化学習手法、Q学習決定トランスフォーマー（QDT）を提案する。これにより、劣化した軌道を組み合わせて最適な方策を学習することが可能になる。QDTは、Q学習（頑健な責任割り当て）とDT（系列モデリング）の長所を組み合わせることで、スパarsely-rewardや長時間スケールのタスクを含む多様な環境で、DTおよびCQLを凌駕する優れた性能を達成する。

ABSTRACT

Recent works have shown that tackling offline reinforcement learning (RL) with a conditional policy produces promising results. The Decision Transformer (DT) combines the conditional policy approach and a transformer architecture, showing competitive performance against several benchmarks. However, DT lacks stitching ability -- one of the critical abilities for offline RL to learn the optimal policy from sub-optimal trajectories. This issue becomes particularly significant when the offline dataset only contains sub-optimal trajectories. On the other hand, the conventional RL approaches based on Dynamic Programming (such as Q-learning) do not have the same limitation; however, they suffer from unstable learning behaviours, especially when they rely on function approximation in an off-policy learning setting. In this paper, we propose the Q-learning Decision Transformer (QDT) to address the shortcomings of DT by leveraging the benefits of Dynamic Programming (Q-learning). It utilises the Dynamic Programming results to relabel the return-to-go in the training data to then train the DT with the relabelled data. Our approach efficiently exploits the benefits of these two approaches and compensates for each other's shortcomings to achieve better performance. We empirically show these in both simple toy environments and the more complex D4RL benchmark, showing competitive performance gains.

研究の動機と目的

• 決定トランスフォーマー（DT）に「ステッチング能力」が欠如していることによる、劣化した軌道を最適な方策に組み合わせられないという問題に対処する。
• Q学習の不安定さとサンプル効率の低さを、DTの系列モデリング能力を活用することで、長時間スケールおよびスパarsely-reward設定で克服する。
• オフラインデータセット内のリターン・トゥ・ゴール（RTG）値をQ学習で再ラベルすることで、DTのための監視品質を向上させ、オフラインRLの性能を向上させる。
• アーキテクチャの再設計を必要とせず、既存のオフラインRLアルゴリズムを強化できるモデルフリーでモジュラーなフレームワークを開発する。
• 単純なグリッドワールド、Maze2D、遅延報酬を伴うMuJoCo環境を含む多様な環境で、強力な性能を示す。

提案手法

• オフラインデータセット上でQ学習エージェント（特にCQL）を訓練し、各状態・行動ペアの最適なリターン・トゥ・ゴール（RTG）値を推定する。
• Q学習による推定値を用いて、元のオフラインデータセット内のRTG値を再ラベルし、元のRTGを学習済みの最適RTG値に置き換える。
• 再ラベルされたデータセット上で決定トランスフォーマーを微調整する。この際、目的はQ学習で得られたRTGとなるため、劣化した軌道から最適な行動を学習できる。
• トランスフォーマーの自己注意メカニズムを活用して、再ラベル済みRTGに条件付けられた長期間にわたる状態と行動の系列をモデリングし、効果的な系列モデリングを実現する。
• 2段階の訓練プロセスを採用する：まず、データセット上でQ学習（CQL）を訓練し、次に再ラベル済みデータ上でDTを事前学習および微調整する。
• 標準的なD4RL MuJoCoデータセットを用い、v0、v1、v2バージョンで評価することで、既存のオフラインRLベンチマークとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 Q学習による推定値は、決定トランスフォーマーが劣化した軌道を最適な方策にステッチングする能力を向上させるか？
• RQ2 Q学習を用いてオフラインデータセット内のリターン・トゥ・ゴール（RTG）を再ラベルすることで、長時間スケールおよびスパarsely-rewardタスクでの一般化性と性能が向上するか？
• RQ3 それぞれの手法が既知の弱みを示す環境において、提案されたQDTフレームワークは、単独のDTおよびCQLと比較してどのように性能を発揮するか？
• RQ4 Q学習とDTを組み合わせたモデルフリーでモジュラーなアプローチは、アーキテクチャの再設計を要せず、エンドツーエンドアーキテクチャを凌駆するか？
• RQ5 関数近似を伴うオフポリシー設定において、RTG値の再ラベルがQ学習の不安定性をどの程度軽減するか？

主な発見

• QDTは、決定トランスフォーマーが劣化した軌道をステッチングできる能力を成功裏に実現し、単純なグリッドワールドやMaze2Dのような環境におけるDTの主要な制限を解消した。
• 単純な環境では、QDTは最適な性能を達成したが、DTはステッチングが不可能なため失敗し、CQLは遅延報酬の問題で苦戦した。
• 遅延報酬を伴うMuJoCoのWalker2d環境では、QDTはCQLを著しく上回った。CQLはスパarsely-reward状況で効果的に学習できなかった。
• Maze2D環境では、QDTはDTの性能を上回ったが、CQLにまだ劣っていた。これは一部のタスクにおいてさらなる改善の余地があることを示している。
• Q学習による推定値を用いたRTGの再ラベルは、より正確で安定した価値の監視を可能にし、DTが多様なオフラインRLベンチマークで一般化する能力を向上させた。
• 本手法は、D4RLデータセットの異なるバージョン（v0、v1、v2）においても強固な性能を示し、再現可能性および実世界応用における実用的価値を強調している。