[論文レビュー] Q-value Regularized Transformer for Offline Reinforcement Learning

Shengchao Hu, Ziqing Fan+5 more|arXiv (Cornell University)|May 27, 2024

Elevator Systems and Control被引用数 4

ひとこと要約

本稿では、行動変容とQ値最大化の二重目的損失を用いて条件付き系列モデリングと動的計画法を統合する、Q値正則化付きTransformerであるQTを提案する。これは、行動変容による方策正則化と最適行動選択のためのQ値最大化を組み合わせたものである。D4RLベンチマーク上での実験結果から、QTは従来のオフラインRL手法および最先端のCSMおよびDPアプローチを上回り、ロングホライズンおよびスパarsely-reward設定において、頑健なトラジェクトリースティッチングと改善されたリターン整合性を実現することで優れた性能を達成している。

ABSTRACT

Recent advancements in offline reinforcement learning (RL) have underscored the capabilities of Conditional Sequence Modeling (CSM), a paradigm that learns the action distribution based on history trajectory and target returns for each state. However, these methods often struggle with stitching together optimal trajectories from sub-optimal ones due to the inconsistency between the sampled returns within individual trajectories and the optimal returns across multiple trajectories. Fortunately, Dynamic Programming (DP) methods offer a solution by leveraging a value function to approximate optimal future returns for each state, while these techniques are prone to unstable learning behaviors, particularly in long-horizon and sparse-reward scenarios. Building upon these insights, we propose the Q-value regularized Transformer (QT), which combines the trajectory modeling ability of the Transformer with the predictability of optimal future returns from DP methods. QT learns an action-value function and integrates a term maximizing action-values into the training loss of CSM, which aims to seek optimal actions that align closely with the behavior policy. Empirical evaluations on D4RL benchmark datasets demonstrate the superiority of QT over traditional DP and CSM methods, highlighting the potential of QT to enhance the state-of-the-art in offline RL.

研究の動機と目的

• 条件付き系列モデリング（CSM）のオフラインRLにおける限界、すなわち、最適でないトラジェクトリから最適なトラジェクトリを統合できないこと（サンプルリターンと最適リターンの不一致に起因）を解消する。
• ロングホライズンおよびスパースリワード環境において不安定になる動的計画法（DP）手法の問題を、系列モデリングと統合することで克服する。
• Transformerのトラジェクトリモデリングの強みとQ学習による最適リターン予測の両方を統合した包括的フレームワークを構築する。
• 行動サンプリングを行動方策分布と学習済みQ値の両者と整合させることで、方策一般化を向上させ、分布シフトのリスクを低減する。
• 追加の環境インタラクションや行動変容コンponentを必要とせず、オフラインRLで最先端の性能を達成する。

提案手法

• 本手法は、状態-行動-報酬のトリプレットの系列とリターン・トゥ・ゴー（RTG）トークンを条件として行動を予測するTransformerベースの方策を採用する。
• 二重目的の学習損失を導入：行動方策分布に一致させるための条件付き行動変容項と、期待リターンを最大化するためのQ値正則化項。
• Q値正則化項は、各状態-行動ペアの最適な将来リターン推定値を提供する共同学習されたQネットワークから導出される。
• Q値を直接行動サンプリングプロセスに統合し、高リターン行動に予測をバイアスする一方で、行動方策への忠実性を維持する。
• Q値モジュールを通じてベルマンバックアップの原則を活用しつつ、示されたトレーニング軌道に基づく教師あり学習に依存することで、ブートストラップ不安定性を回避する。
• 複数のトレーリングにわたる期待リターンと最適リターンの整合性を保つことで、効果的なトラジェクトリ合成を実現する。

実験結果

リサーチクエスチョン

• RQ1 Q値正則化付きのTransformerベース方策は、標準的なCSM手法と比較して、オフラインRLにおけるトラジェクトリースティッチングを改善できるか？
• RQ2 Q値正則化を系列モデリングフレームワークに統合することで、ロングホライズンおよびスパースリワードのオフラインRLタスクにおける性能にどのような影響を与えるか？
• RQ3 Q値正則化は、行動方策への忠実性を維持しつつ、どの程度分布シフトを緩和できるか？
• RQ4 行動変容とQ値最大化の共同最適化は、既存のオフラインRLベースラインと比較して、より優れたサンプル効率と一般化性能を達成できるか？
• RQ5 本手法は、追加の行動変容またはモデルベースのダイナミクスモデリングを必要とせず、最先端の性能を達成できるか？

主な発見

• QTは、複数のD4RLベンチマーク環境において、従来の動的計画法および条件付き系列モデリング手法を上回る最先端の性能を達成している。
• 本手法は優れたトラジェクトリースティッチング能力を示し、最適でないデータシーケンスからも高リターンのトラジェクトリを効果的に合成している。
• Q値正則化の統合により、行動サンプリングにおける期待リターンと最適リターンの乖離が顕著に低減され、リターン整合性が向上している。
• QTは、行動方策の正則化を直接的に系列モデリングの目的関数に埋め込むことで、明示的な行動変容や保守的価値関数正則化の必要性を排除している。
• 実験的評価から、QTは従来の手法がしばしば失敗するロングホライズンおよびスパースリワード設定でも、頑健な性能を維持していることが示された。
• アブレーションスタディの結果、行動変容項とQ値正則化項の両方が最適性能を達成するために不可欠であり、それぞれが方策安定性とリターン最大化に独自に寄与していることが確認された。