[論文レビュー] Offline Reinforcement Learning with Value-based Episodic Memory

Xiaoteng Ma, Yiqin Yang+6 more|arXiv (Cornell University)|Oct 19, 2021

Reinforcement Learning in Robotics参考文献 31被引用数 10

ひとこと要約

本稿では、期待値V学習（EVL）を用いてオффラインデータのサポート内に厳密に価値関数を学習する、価値ベースのエピソードメモリ（VEM）という、オフライン強化学習手法を提案する。これにより、外挿誤差を回避する。EVLとオフライン軌道上の暗黙的計画を組み合わせることで、特に報酬がスパarsな環境において優れた性能を発揮し、D4RLベンチマークで最先端のベースラインを上回り、価値推定の安定性と収束性が向上する。

ABSTRACT

Offline reinforcement learning (RL) shows promise of applying RL to real-world problems by effectively utilizing previously collected data. Most existing offline RL algorithms use regularization or constraints to suppress extrapolation error for actions outside the dataset. In this paper, we adopt a different framework, which learns the V-function instead of the Q-function to naturally keep the learning procedure within the support of an offline dataset. To enable effective generalization while maintaining proper conservatism in offline learning, we propose Expectile V-Learning (EVL), which smoothly interpolates between the optimal value learning and behavior cloning. Further, we introduce implicit planning along offline trajectories to enhance learned V-values and accelerate convergence. Together, we present a new offline method called Value-based Episodic Memory (VEM). We provide theoretical analysis for the convergence properties of our proposed VEM method, and empirical results in the D4RL benchmark show that our method achieves superior performance in most tasks, particularly in sparse-reward tasks.

研究の動機と目的

• データセットのサポート外の行動を避けることで、オフライン強化学習における外挿誤差の課題に対処すること。
• 行動コーディングと最適価値学習のバランスを取る、安定的で保守的な価値学習フレームワークの開発。
• オフライン軌道上の暗黙的計画を用いることで、長時間スケールおよび報酬がスパarsなタスクにおけるポリシー学習を改善すること。
• 提案手法に対して、制御されたバイアスと分散を伴う理論的収束保証を提供すること。
• 特に挑戦的な報酬がスパarsな環境において、D4RLベンチマークで優れた性能を示すこと。

提案手法

• 期待値作用素に基づく、ベルマン期待値作用素と最適性作用素の間を滑らかに補間する、期待値V学習（EVL）という新しい価値学習手法を提案する。
• 価値ベースのエピソードメモリ機構を用いて、世界モデルを必要とせずにオフライン軌道に沿った暗黙的計画を実現し、アドバンテージ推定を向上させる。
• 改善されたアドバンテージ関数を用いた回帰によりポリシーを訓練し、未観測の行動からのブートストラップ誤差を回避する。
• 行動コーディングと最適価値学習のバランスを取るために、期待値損失における重要なハイパーパrameter τ を採用する。
• 観測済みのオフライン軌道に限定して計画を実行するメモリベースの計画スキームを導入し、保守性を確保する。
• 理論的収束分析を行い、低い濃度率と小さな固定点バイアスを伴う、証明可能な収束性を示した。

実験結果

リサーチクエスチョン

• RQ1 データセットのサポート外の行動を避けるV学習フレームワークは、オフラインRLにおける一般化性能を向上させ、外挿誤差を低減できるか？
• RQ2 期待値ベースの価値学習は、連続的かつ微分可能な方法で、模倣学習と最適価値学習のバランスを取れるか？
• RQ3 オフライン軌道に沿った暗黙的計画は、アドバンテージ推定を向上させ、オフラインRLにおける収束を加速できるか？
• RQ4 提案手法は、D4RLベンチマークの報酬がスパarsなタスクで最先端の性能を達成できるか？
• RQ5 期待値ハイパーパrameter τ は、価値推定の安定性と性能にどのような影響を及えるか？

主な発見

• VEMはD4RLベンチマークで最先端の性能を達成し、特にAntMaze や Adroit のような報酬がスパarsなタスクで顕著な優位性を示した。
• アブレーションスタディにより、VEMは正確な価値推定を実現し、外挿誤差に対して頑健であることが確認された。BCQ-EMは価値の爆発と不安定性に苦しむのに対し、VEMはそれを上回った。
• 特に高次元または狭い示範設定において、期待値損失は分位数損失よりも極端な値の取り扱いにおいてより安定していた。
• オフライン軌道に沿った暗黙的計画は、標準的なnステップ価値推定と比較して収束を著しく加速した。
• EVLにおけるハイパーパrameter τ は慎重なチューニングが不可欠である：高すぎる値（例：τ=0.9）は過大評価を引き起こし、特にpen-humanのような複雑なタスクでは性能の崩壊を招いた。
• 理論的分析により、VEMは低い濃度率と小さな固定点バイアスを伴う、証明可能な収束性を有することが確認され、その安定性と信頼性を裏付けた。