[論文レビュー] Regret Minimization Experience Replay in Off-Policy Reinforcement Learning

Xuhui Liu, Zhenghai Xue+4 more|arXiv (Cornell University)|May 15, 2021

Reinforcement Learning in Robotics参考文献 22被引用数 8

ひとこと要約

本稿では、ポリシーの後悔を最小化することにより、サンプリング重みを最適化する2つの新しい優先順位付き経験再生手法ReMERNおよびReMERTを提案する。理論的に最適な優先順位付けを導出することで、より高いヒンディャップTD誤差、より高いオンポリシー性、より高いQ値の正確性を持つ経験を優先する。MuJoCo、Atari、Meta-Worldのベンチマークにおいて、先行手法を上回る性能を発揮する。

ABSTRACT

In reinforcement learning, experience replay stores past samples for further reuse. Prioritized sampling is a promising technique to better utilize these samples. Previous criteria of prioritization include TD error, recentness and corrective feedback, which are mostly heuristically designed. In this work, we start from the regret minimization objective, and obtain an optimal prioritization strategy for Bellman update that can directly maximize the return of the policy. The theory suggests that data with higher hindsight TD error, better on-policiness and more accurate Q value should be assigned with higher weights during sampling. Thus most previous criteria only consider this strategy partially. We not only provide theoretical justifications for previous criteria, but also propose two new methods to compute the prioritization weight, namely ReMERN and ReMERT. ReMERN learns an error network, while ReMERT exploits the temporal ordering of states. Both methods outperform previous prioritized sampling algorithms in challenging RL benchmarks, including MuJoCo, Atari and Meta-World.

研究の動機と目的

• 従来の優先順位付き経験再生手法における目的関数の不一致を解消する。これらの手法はTD誤差などの代理目的関数を最適化しているが、ポリシーの後悔を直接最小化していない。
• オフポリシー強化学習におけるポリシーの後悔を直接最小化する理論的に最適な優先順位付け戦略を導出する。
• 誤差ネットワーク（ReMERN）と時間的距離（ReMERT）を用いて、理論的最適重みの実用的かつ安定した近似を提供する。
• 高い確率的変動性や複雑なダイナミクスを示す環境において、サンプル効率と学習性能を向上させる。
• アーキテクチャの変更なしに、DQN や SAC などの既存のオフポリシー強化学習アルゴリズムに即座に統合可能なプラグインモジュールとして実装する。

提案手法

• ポリシーの後悔を最小化するための後悔最小化フレームワークを提案し、優先順位付けを最適化問題として定式化する。
• ヒンディャップTD誤差、オンポリシー性（遷移の年齢を用いた分類器で推定）、Q値の正確性の3要因に基づいて理論的最適優先順位重みを導出する。
• Q値のサブオプティマルさを近似的動的プログラミングにより推定する学習済み誤差ネットワークを用いるReMERNを導入する。
• 終端状態からの時間的距離を用いてQ精度を推定するReMERTを導入する。これは、ベルマン誤差が終端状態から後退して蓄積されることを利用している。
• 訓練の安定化と極端な優先順位重みの発生を防ぐために、重み正規化と切り捨てられたTCE（時間的正しさ推定）を適用する。
• 標準的なオフポリシー強化学習アルゴリズムと互換性を持つプラグインモジュールとして設計し、再現バッファのサンプリング方法の変更のみを要件とする。

実験結果

リサーチクエスチョン

• RQ1 後悔最小化から導出された理論的最適な優先順位付け戦略は、TD誤差や最近性といったヒューリスティック基準を上回る性能を発揮するか？
• RQ2 最適Q値にアクセスできない状況下でも、オンポリシー性とQ値の正確性を効果的に推定し、優先順位付けに統合する方法は何か？
• RQ3 特に終端状態からの距離という時間的構造が、オフポリシー学習におけるQ値の正確性の信頼できる代理指標として有効であるか？
• RQ4 後悔最小化に基づく優先順位付けは、多様な強化学習ベンチマークにおいて一貫してサンプル効率と最終的性能を向上させるか？
• RQ5 確率的報酬やランダムなターゲット位置を有する環境において、ReMERNおよびReMERTはPER や DisCor などの先行手法を上回る性能を発揮するか？

主な発見

• ReMERTはAtari環境で最先端の性能を達成し、ベースライン、PER、その他のベースラインを上回る。UpNDownでは平均スコア145,235±94,643を記録したのに対し、ベースラインは134,502±68,727であった。
• MuJoCo Ant-v2では、Q損失と終端状態からの距離の間に強い相関がある環境で、ReMERTが優れた性能を示した。これは理論的直感を裏付ける。
• ReMERNは、ノイズの多い報酬やランダムなターゲット位置を有する確率的環境において、従来手法が苦戦する状況でも顕著な性能向上を示した。
• Ant-v2およびHopper-v2の両環境で、Q値誤差と終端状態からの距離の間に負の相関があることが実証的に確認された。特にAnt-v2では相関が強く観察された。
• ReMERTは、時間的誤差蓄積が顕著な環境で他のアルゴリズムを上回ったが、Q損失が一様に低いHopper-v2のようなタスクではやや弱い向上効果を示した。
• アブレーションスタディにより、ヒンディャップTD誤差、オンポリシー性、Q精度という3つの要素すべてが性能向上に寄与していることが確認された。特にReMERTのTCEに基づく推定は、複雑な制御タスクにおいて顕著に有効であった。