[論文レビュー] Graph Decision Transformer

Shengchao Hu, Li Shen+2 more|arXiv (Cornell University)|Mar 7, 2023

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、状態-行動-報酬の系列を因果グラフとしてモデル化することで、時間的・因果的依存関係をよりよく捉える、新しいオフライン強化学習手法であるグラフ意思決定トランスフォーマー（GDT）を提案する。関係強化注意を備えたグラフトランスフォーマーと、視覚入力用のオプションの系列トランスフォーマーを用いることで、GDTはアタリおよびOpenAI Gymベンチマークで最先端の性能を達成し、長期間の系列および高情報密度環境において、既存手法を上回る性能を発揮する。

ABSTRACT

Offline reinforcement learning (RL) is a challenging task, whose objective is to learn policies from static trajectory data without interacting with the environment. Recently, offline RL has been viewed as a sequence modeling problem, where an agent generates a sequence of subsequent actions based on a set of static transition experiences. However, existing approaches that use transformers to attend to all tokens naively can overlook the dependencies between different tokens and limit long-term dependency learning. In this paper, we propose the Graph Decision Transformer (GDT), a novel offline RL approach that models the input sequence into a causal graph to capture potential dependencies between fundamentally different concepts and facilitate temporal and causal relationship learning. GDT uses a graph transformer to process the graph inputs with relation-enhanced mechanisms, and an optional sequence transformer to handle fine-grained spatial information in visual tasks. Our experiments show that GDT matches or surpasses the performance of state-of-the-art offline RL methods on image-based Atari and OpenAI Gym.

研究の動機と目的

• 標準トランスフォーマーがオフライン強化学習において抱える制限を克服し、状態・行動・報酬の間の依存関係をより効果的にモデル化すること。
• 入力系列に因果関係を明示的に符号化することで、非マルコフ的環境における長期間の依存関係学習を改善すること。
• パッチ単位での符号化を実行する系列トランスフォーマーを統合することで、視覚入力の細粒度の空間情報を保持すること。
• 報酬の「到着報酬」形状に依存するのを減らすために、入力表現に因果構造を組み込むこと。
• アタリやOpenAI Gymのような画像ベースのオフラインRLベンチマークで最先端の性能を達成すること。

提案手法

• 状態-行動-報酬のトリプレット系列を、ノードがトークンを表し、エッジが時間的および因果的関係を符号化する因果グラフに変換する。
• グラフアテンション機構において、ノード埋め込みとエッジ埋め込みを用いてクエリ（Q）およびキー（K）行列を計算するが、値（V）にはノード埋め込みのみを用いる。
• グラフ構造の入力を処理するためのグラフトランスフォーマーを適用し、長期的依存関係および因果的事前知識の効果的モデリングを可能にする。
• 画像状態をパッチとして処理するオプションの系列トランスフォーマーを統合し、視覚タスクにおける空間特徴抽出を向上させる。
• グラフトランスフォーマーと系列トランスフォーマーを3通りの方法で接続する：置換、統合、スタック。特に高情報密度環境ではスタック接続が優れた性能を示す。
• モデルを教師付きの系列モデリングタスクとして訓練し、入力グラフおよびオプションの視覚符号化に条件づけた行動系列を予測する。

Figure 1: Comparison of GDT and DT. GDT employs additional edge embeddings and node embeddings to obtain Q and K, while using only node embeddings to obtain V.

実験結果

リサーチクエスチョン

• RQ1 標準的な系列モデリングと比較して、オフラインRLの入力を因果グラフとしてモデル化することで、長期的依存関係学習が向上するか？
• RQ2 状態・行動・報酬の間の明示的な因果関係を組み込むことで、非マルコフ的環境における性能にどのような影響を与えるか？
• RQ3 関係強化注意を備えたグラフトランスフォーマーは、オフラインRLベンチマークで標準トランスフォーマーを上回る性能を発揮するか？
• RQ4 オプションの系列トランスフォーマーは、視覚RL環境における行動予測にどの程度向上をもたらすか？
• RQ5 GDTの性能は、特に「到着報酬」に依存するのを減らすという点で、さまざまな報酬設定においてどのように変化するか？

主な発見

• GDTは、画像ベースのアタリおよびOpenAI Gym環境において、最先端のオフライン強化学習手法を上回り、新たな最先端の結果を達成した。
• GDTは入力系列長が延びるにつれて顕著な性能向上を示すが、標準的な意思決定トランスフォーマー（DT）は性能が頭打ちになるのに対し、GDTは長期的系列モデリング能力に優れていることが示された。
• グラフ入力構造のおかげで、「到着報酬」形状に依存する必要が減少し、DTが性能を発揮できないステップワイズ報酬設定でも、GDTは強い性能を維持した。
• 高情報密度のアタリ環境では、グラフ特徴量を系列トランスフォーマーの終端にスタックするGDT-Stack接続法が、特徴の精錬に最も効果的であった。
• 低情報密度のGym環境では、グラフ特徴量と系列特徴量を初期段階で統合するGDT-Fusion法が、抽象化レベルを効果的に組み合わせ、より優れた結果を達成した。
• 因果グラフ表現により、ポリシーとワールドダイナミクスの分離が向上し、一般化性能が向上し、価値推定における過剰な楽観的評価が軽減された。

Figure 2: The proposed model comprises three main components: the Graph Representation, the Graph Transformer, and an optional Sequence Transformer. When the output of the Graph Transformer is used directly for action prediction, the resulting model is referred to as GDT, which includes only the lef