[論文レビュー] Extreme Q-Learning: MaxEnt RL without Entropy

Divyansh Garg, Joey Hejna+2 more|arXiv (Cornell University)|Jan 5, 2023

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、極値理論（EVT）とGumbel分布を活用して、明示的な方策ネットワークやエントロピー計算を必要とせず、最大エントロピー強化学習（MaxEnt RL）における最適なソフト値関数を直接推定する、新しい深層強化学習フレームワークであるExtreme Q-Learning（XQL）を提案する。Gumbel回帰により対数パーティション関数（LogSumExp）をモデル化することで、XQLは安定的かつ高性能なオンラインおよびオフラインMaxEnt Q学習を可能にし、特にD4RLのFranka Kitchenタスクで10点以上の向上を達成する。また、方策の外挿誤差を回避する。

ABSTRACT

Modern Deep Reinforcement Learning (RL) algorithms require estimates of the maximal Q-value, which are difficult to compute in continuous domains with an infinite number of possible actions. In this work, we introduce a new update rule for online and offline RL which directly models the maximal value using Extreme Value Theory (EVT), drawing inspiration from economics. By doing so, we avoid computing Q-values using out-of-distribution actions which is often a substantial source of error. Our key insight is to introduce an objective that directly estimates the optimal soft-value functions (LogSumExp) in the maximum entropy RL setting without needing to sample from a policy. Using EVT, we derive our \emph{Extreme Q-Learning} framework and consequently online and, for the first time, offline MaxEnt Q-learning algorithms, that do not explicitly require access to a policy or its entropy. Our method obtains consistently strong performance in the D4RL benchmark, outperforming prior works by \emph{10+ points} on the challenging Franka Kitchen tasks while offering moderate improvements over SAC and TD3 on online DM Control tasks. Visualizations and code can be found on our website at https://div99.github.io/XQL/.

研究の動機と目的

• 連続的行動空間における最適なソフト値関数（LogSumExp）の推定という課題に取り組む。標準的なMaxEnt RL手法では、計算が困難なエントロピー計算と方策サンプリングに依存している。
• MaxEnt RLにおける補助的方策ネットワークや明示的エントロピー推定の必要性を排除する。これらはオンラインおよびオフラインRLの両方において誤差と不安定性の原因となっている。
• オンラインおよびオフラインMaxEnt Q学習のための理論的裏付けが強く、エンドツーエンド微分可能なフレームワークを構築する。これは真のベルマンバックアップ作用素 $\mathcal{B}^*$ を直接最適化することを可能にする。
• 保守的Q学習とソフトQ学習の間のギャップを埋める。提案されたEVTに基づく定式化のもとで、両者が同等であることを示す。
• アクター・クリティック手法が直面する分布外行動サンプリングの問題を回避することで、オフラインRLにおけるサンプル効率と頑健性を向上させる。

提案手法

• Q値推定誤差の分布をGumbel分布でモデル化する。これはMcFaddenの離散的選択理論と極値理論（EVT）にインspiredされており、Gumbel分布が最大値の極限分布として正当化されている。
• 対数パーティション関数（LogSumExp）のための一貫性のある推定器としてGumbel回帰を導入し、連続的行動空間における最適なソフト値関数 $V^*$ の微分可能な推定を可能にする。
• 真のMaxEntベルマン作用素 $\mathcal{B}^*$ を直接最適化する新しいベルマン損失目的関数を導出する。これにより、方策ネットワークや行動上でのソフトマックスの必要性が不要になる。
• 勾配降下法（SGD）を用いたGumbel損失に基づくオンラインおよびオフラインXQLアルゴリズムを定式化する。明示的な方策ネットワークやエントロピー正則化は一切使用しない。
• 温度 $\beta$、勾配クリッピング、価値更新頻度といったハイパーパrameterは、環境ごとに調整され、特に困難なオフライン設定における学習の安定化を図る。
• Mujoco、AntMaze、Franka Kitchenを含むD4RLベンチマークで検証され、Gumbelベース推定の有効性を確認するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 連続的行動空間において、方策からのサンプリングを必要とせず、Gumbel分布に基づく一貫性のある微分可能な推定器として、対数パーティション関数（LogSumExp）を導出できるか？
• RQ2 Q値誤差をGumbel分布でモデル化することで、MaxEnt RLにおける最適なソフト値関数の推定が、より安定的かつ正確になるか？
• RQ3 XQLは、方策ネットワークやエントロピー正則化に依存せず、外挿誤差を回避することで、オフラインRLで最先端の性能を達成できるか？
• RQ4 提案されたGumbelベースベルマン損失は、標準的なソフトQ学習および保守的Q学習と比較して、サンプル効率と最終報酬の両面で優れているか？
• RQ5 XQLフレームワークは、共通の理論的基盤の下で、ソフトQ学習と保守的Q学習をどれほど統合できるか？

主な発見

• XQLは、挑戦的なD4RLのFranka Kitchenタスクで、先行手法を10点以上上回る改善を達成し、既存のオフラインRLベースラインを著しく上回る。
• D4RLのオフラインMujocoベンチマークでは、XQL-Tuned（ハイパーパrameterチューニング済みバージョン）がSACやTD3と同等またはそれを上回る性能を発揮し、特に困難な環境で顕著な向上を示した。
• アクター・クリティックアルゴリズムの主要な誤差源である分布外行動サンプリングを回避することで、オフラインRLにおける学習安定性が向上した。
• オンラインRLでも、XQLはSACやTD3と同等の性能を示し、わずかな改善を達成する一方で、別個の方策ネットワークやエントロピー計算の必要性を排除した。
• アブレーションスタディにより、Gumbelベースの対数パーティション関数推定が、特にQ値誤差が正規分布でない場合に、標準的手法よりも正確であることが確認された。
• フレームワークは、ソフトQ学習と保守的Q学習を成功裏に統合し、EVTに基づく定式化のもとで、MaxEnt RLが自然に保守性の一種として現れることを示した。