[論文レビュー] Generalized Decision Transformer for Offline Hindsight Information Matching

Hiroki Furuta, Yutaka Matsuo+1 more|arXiv (Cornell University)|Nov 19, 2021

Reinforcement Learning in Robotics被引用数 10

ひとこと要約

本論文は、将来の軌道統計に条件付けられた方策を学習するための、後向き情報マッチング（HIM）として定式化された、オフライン強化学習のための統一的枠組みである一般化意思決定トランスフォーマー（GDT）を紹介する。GDTは、特徴関数と反因果的集約器を変化させることで、既存の手法を回復し、新たなバリエーションを導入する。特に、状態周辺分布マッチングを目的としたカテゴリカル DT（CDT）と、ワンショット模倣学習を目的とした双方向 DT（BDT）を提案し、未観測および合成された分布への一般化を改善した。その結果、オフラインマルチタスクベンチマークで最先端の性能を達成した。

ABSTRACT

How to extract as much learning signal from each trajectory data has been a key problem in reinforcement learning (RL), where sample inefficiency has posed serious challenges for practical applications. Recent works have shown that using expressive policy function approximators and conditioning on future trajectory information -- such as future states in hindsight experience replay or returns-to-go in Decision Transformer (DT) -- enables efficient learning of multi-task policies, where at times online RL is fully replaced by offline behavioral cloning, e.g. sequence modeling. We demonstrate that all these approaches are doing hindsight information matching (HIM) -- training policies that can output the rest of trajectory that matches some statistics of future state information. We present Generalized Decision Transformer (GDT) for solving any HIM problem, and show how different choices for the feature function and the anti-causal aggregator not only recover DT as a special case, but also lead to novel Categorical DT (CDT) and Bi-directional DT (BDT) for matching different statistics of the future. For evaluating CDT and BDT, we define offline multi-task state-marginal matching (SMM) and imitation learning (IL) as two generic HIM problems, propose a Wasserstein distance loss as a metric for both, and empirically study them on MuJoCo continuous control benchmarks. CDT, which simply replaces anti-causal summation with anti-causal binning in DT, enables the first effective offline multi-task SMM algorithm that generalizes well to unseen and even synthetic multi-modal state-feature distributions. BDT, which uses an anti-causal second transformer as the aggregator, can learn to model any statistics of the future and outperforms DT variants in offline multi-task IL. Our generalized formulations from HIM and GDT greatly expand the role of powerful sequence modeling architectures in modern RL.

研究の動機と目的

• 後向き情報マッチング（HIM）の共通原則に基づき、多様な後向きに基づく強化学習手法を統一する枠組みを構築すること。
• 最小限のアーキテクチャ的変更で、任意のHIM問題を解ける一般化アーキテクチャ、GDTを構築すること。
• 将来的な統計、例えば状態分布やリターン・トゥ・ゴーをマッチングすることで、効果的なオフラインマルチタスク学習を可能にすること。
• 状態周辺分布マッチング（SMM）を目的とした新しいCategorical DT（CDT）を提案・検証し、合成された二峰性分布への一般化を含む。
• ワンショット模倣学習を目的としたBi-directional DT（BDT）を導入し、オフラインマルチタスクILにおいて先行手法を上回ること。

提案手法

• 方策が将来の軌道統計に条件付けられる一般化フレームワーク、一般化意思決定トランスフォーマー（GDT）を提案。特徴関数Φ(s,a)と反因果的集約器を用いる。
• 行動コーチングを用い、シーケンスモデリングの目的関数により、将来の情報統計のターゲット統計と一致する軌道を生成する方策を学習する。
• DTの反因果的合計をビニングに置き換えることで、状態特徴の分布マッチングを可能にするCategorical DT（CDT）を導入。
• 第二のトランスフォーマーを反因果的集約器として用いることで、任意の将来統計をモデル化可能なBi-directional DT（BDT）を構築。
• オフラインマルチタスクSMMおよび模倣学習タスクの両方で性能を評価するため、ウォッシャーテイン距離に基づくメトリクスを採用。
• 自己符号化および対照的学習（CPC）を含む、学習済み特徴関数の複数のトレーニング戦略をサポート。ジョイント微調整対比のアブレーションを実施。

実験結果

リサーチクエスチョン

• RQ1 統一されたフレームワークは、将来の軌道統計をマッチングするという共通の原則に基づき、多様な後向きに基づく強化学習手法を統合できるか？
• RQ2 Categorical DT（CDT）は、未観測および合成された二峰性分布を含む、オフラインマルチタスク状態周辺分布マッチングを効果的に実行できるか？
• RQ3 Bi-directional DT（BDT）は、オフラインマルチタスク模倣学習、特にワンショット設定において、先行手法を上回る性能を示せるか？
• RQ4 特徴関数や反因果的集約器の異なる選択肢が、SMMおよびILベンチマークにおける性能にどのように影響を与えるか？
• RQ5 学習済み特徴関数の最適なトレーニング戦略（例：固定 vs. ジョイント微調整）は何か？

主な発見

• Categorical DT（CDT）は、未観測および合成された二峰性報酬または状態特徴分布への一般化をうまく行う、初めての効果的なオフラインマルチタスク状態周辺分布マッチングアルゴリズムを達成した。
• BDTは、オフラインマルチタスク模倣学習において、先行するDTバージョンを上回り、ワンショット模倣学習設定でも競争力のある性能を示した。
• 提案されたウォッシャーテイン距離メトリクスは、SMMおよびILの両方の性能を効果的に評価でき、タスク間での信頼性のある比較を可能にした。
• 対照的学習を用いた学習済み特徴関数を用いたGDTは強力な性能を示し、固定または自己教師ありのみの事前学習よりも、ジョイント微調整がより優れた結果をもたらした。
• 報酬ベースの特徴関数と合計集約器を使用した場合、標準的な意思決定トランスフォーマーが特別なケースとしてGDTに回復された。
• 一般化アーキテクチャにより、特徴関数と集約器のコンponentsを単に変更するだけで、さまざまなオフラインRL問題に柔軟に適応可能となった。