[論文レビュー] EMaQ: Expected-Max Q-Learning Operator for Simple Yet Effective Offline and Online RL

Seyed Kamyar Seyed Ghasemipour, Dale Schuurmans+1 more|arXiv (Cornell University)|Jul 21, 2020

Reinforcement Learning in Robotics参考文献 39被引用数 7

ひとこと要約

EMaQは、行動方策のサポート、サンプル数、提案分布を明示的にモデル化することで、オффラインおよびオンライン強化学習を改善する、新しい期待最大化Q学習演算子を導入する。D4RLベンチマークにおいて最先端の性能を達成し、オンラインRLにおけるSACと同等の結果を示す一方で、理論的裏付けと直感的なバックアップ機構により、従来手法よりも単純で安定性に優れた代替手法を提供する。

ABSTRACT

Off-policy reinforcement learning holds the promise of sample-efficient learning of decision-making policies by leveraging past experience. However, in the offline RL setting -- where a fixed collection of interactions are provided and no further interactions are allowed -- it has been shown that standard off-policy RL methods can significantly underperform. Recently proposed methods often aim to address this shortcoming by constraining learned policies to remain close to the given dataset of interactions. In this work, we closely investigate an important simplification of BCQ -- a prior approach for offline RL -- which removes a heuristic design choice and naturally restricts extracted policies to remain exactly within the support of a given behavior policy. Importantly, in contrast to their original theoretical considerations, we derive this simplified algorithm through the introduction of a novel backup operator, Expected-Max Q-Learning (EMaQ), which is more closely related to the resulting practical algorithm. Specifically, in addition to the distribution support, EMaQ explicitly considers the number of samples and the proposal distribution, allowing us to derive new sub-optimality bounds which can serve as a novel measure of complexity for offline RL problems. In the offline RL setting -- the main focus of this work -- EMaQ matches and outperforms prior state-of-the-art in the D4RL benchmarks. In the online RL setting, we demonstrate that EMaQ is competitive with Soft Actor Critic. The key contributions of our empirical findings are demonstrating the importance of careful generative model design for estimating behavior policies, and an intuitive notion of complexity for offline RL problems. With its simple interpretation and fewer moving parts, such as no explicit function approximator representing the policy, EMaQ serves as a strong yet easy to implement baseline for future work.

研究の動機と目的

• 行動方策の分布から逸脱する可能性があるオフライン設定におけるオフポリシー強化学習の性能低下を是正すること。
• BCQのような従来のオフラインRL手法におけるヒューリスティックな設計選択、特に摂動による行動制約を排除すること。
• 行動方策のサポートに自然に制限を課す、原理的裏付けのあるバックアップ演算子を導出すること。
• サンプル数と提案分布に基づく、オフラインRLにおける新たな複雑度の概念を導入し、よりタイトな最適性の下限を可能にすること。

提案手法

• 行動方策からのN個のサンプル行動を用いて、標準的なmaxまたは期待値の代わりに重み付き平均をとる、期待最大化Q学習（EMaQ）演算子を提案する。
• 重みは、温度パラメータでスケーリングされたQ値のソフトマックスにより導出され、Q評価とQ学習の間を滑らかに補間する。
• サンプル数Nと提案分布μ(a′|s′)を明示的に組み込むことで、より正確で安定したバックアップが可能になる。
• 行動関数の近似を明示的に避けるため、BCQやBEARのような手法と比較してモデルの複雑さと学習のオーバーヘッドが低減される。
• 生成モデルを用いて行動をサンプリングし、これらのサンプル上のQ値のソフトマックス重み付き平均を計算する。
• 実際の応用では、EMaQは行動方策の推定とQ関数のみを必要とするため、従来手法よりも単純で効率的である。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックな行動摂動を排除したBCQの簡素化版は、オフラインRLにおいても強力な性能を発揮できるか？
• RQ2 行動方策のサポート、サンプル数、提案分布を明示的にモデル化することで、学習の安定性と性能にどのような影響を与えるか？
• RQ3 EMaQのような新しいバックアップ演算子は、よりタイトな最適性の下限と、オフラインRLにおける新たな複雑度の測定基準を可能にするか？
• RQ4 EMaQは、D4RLのような標準的なオフラインRLベンチマークで、最先端の手法を上回る性能を示すか？
• RQ5 EMaQは、サンプル効率と最終的な性能の観点から、SACのようなオンラインRLアルゴリズムと比較して優れているか？

主な発見

• EMaQは、複数の環境においてD4RLオフラインRLベンチマークで、従来の最先端手法と同等またはそれを上回る性能を達成する。
• Halfcheetah環境では、特にantmaze-umazeのような挑戦的な設定において、BCQやBEARを上回り、はるかに安定した学習曲線を示す。
• BCQに比べて優れた訓練の安定性を示す。BCQは初期の改善後、しばしば性能が低下する傾向があるが、特に報酬がスパarsな環境で顕著である。
• 温度αを徐々に大きくしたSoft-EMaQのバリエーションはEMaQに近い性能を示すが、大きなα値を必要とし、追加のハイパーパrameterを導入するため、実用的ではない。
• EMaQの性能は行動方策モデルの品質に極めて敏感であり、生成モデルの設計に注意を払う重要性を示している。
• 単純であるにもかかわらず、EMaQはオンラインRLにおけるSACと同等の結果を出し、特にデプロイ効率の高い設定ではそれを上回る。