[論文レビュー] For SALE: State-Action Representation Learning for Deep Reinforcement Learning

Scott Fujimoto, Wei-Di Chang+4 more|arXiv (Cornell University)|Jun 4, 2023

Reinforcement Learning in Robotics被引用数 16

ひとこと要約

この論文は低レベルの状態RLのための状態-行動埋め込みを学ぶ SALE を導入し、それを TD3 に統合して TD7 を実現（チェックポイントとオフラインサポート付き）、MuJoCo と D4RL のベンチマークでオンライン・オフラインの性能向上を示す。

ABSTRACT

In the field of reinforcement learning (RL), representation learning is a proven tool for complex image-based tasks, but is often overlooked for environments with low-level states, such as physical control problems. This paper introduces SALE, a novel approach for learning embeddings that model the nuanced interaction between state and action, enabling effective representation learning from low-level states. We extensively study the design space of these embeddings and highlight important design considerations. We integrate SALE and an adaptation of checkpoints for RL into TD3 to form the TD7 algorithm, which significantly outperforms existing continuous control algorithms. On OpenAI gym benchmark tasks, TD7 has an average performance gain of 276.7% and 50.7% over TD3 at 300k and 5M time steps, respectively, and works in both the online and offline settings.

研究の動機と目的

• 画像ベースのタスクを超える低レベル状態RLに対する表現学習を動機づける。
• 潜在ダイナミクスを予測する状態と行動の埋め込みを共同で学習する SALE を提案する。
• オンラインとオフライン RL 設定の設計選択を評価する。
• SALE とチェックポイント、および既存の TD3 の改善を組み合わせることで優れた性能を得られることを実証する。

提案手法

• エンコーダ f と g を用いて状態と状態-行動埋め込みを学習する: zs = f(s) および zsa = g(zs, a)。
• 次状態埋め込み zs′ との平均二乗誤差を最小化するダイナミクス予測損失 L(f,g) を用いてエンコーダを訓練する（stop-gradient を適用）。
• 埋め込みを元の状態/アクション入力と結合して値関数 Q および方策 π を得る: Q(zsa, zs, s, a) と π(zs, s)。
• エンコーダ訓練を値/方策の更新からデカップリングする；埋め込みスケールを安定させるために AvgL1Norm を適用する。
• データセットの値域に基づく TD 目標のクリッピングによって外挿誤差を緩和する。
• SALE を TD3、LAP（優先リプレイ）、ポリシーのチェックポイント、オフライン RL のための行動模倣項と組み合わせて TD7 を導入する。

実験結果

リサーチクエスチョン

• RQ1 低レベル状態空間から環境ダイナミクスを有効に捉える状態-行動埋め込みは作れるか？
• RQ2 SALE におけるどの設計選択がオンライン・オフライン RL の性能と安定性に最も影響を与えるか？
• RQ3 CHECKPOINTS が訓練を安定させるか？
• RQ4 TD7 は MuJoCo および D4RL ベンチマークで強力なオンライン/オフラインのベースラインと比較してどうか？

主な発見

• TD7 は OpenAI Gym MuJoCo タスクで既存の連続制御アルゴリズムを大幅に上回り、300k ステップで TD3 に比べ平均 276.7%、5M ステップで 50.7% の獲得を示す。
• SALE 埋め込みは分離化された安定化訓練と組み合わせた下流の価値と方策学習を改善するが、埋め込みのエンドツーエンド訓練は分離学習より性能が劣る。
• ポリシーのチェックポイントを使用することで、評価と訓練のために高性能なポリシーを保持することにより、オンライン訓練全体の安定性と性能が向上する。
• オフライン RL では、SALE を組み合わせた TD7 が MuJoCo データセット（D4RL）で最先端のベースライン（例: CQL、TD3+BC、IQL、X-QL）と同等またはそれ以上を達成し、強力なオフライン性能を示す。
• アブレーション研究は、状態-行動埋め込み、AvgL1Norm 正規化、デカップリング訓練が最終性能に重要であることを示している。