[論文レビュー] Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning

Edoardo Cetin, Oya Çeliktutan|arXiv (Cornell University)|Oct 7, 2021

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文では、二重TD学習を用いてオフポリシー深層強化学習における過大評価バイアスを補正する動的ペナルティを学習する、新しい手法Generalized Pessimism Learning (GPL)を提案する。SACおよびDrQと統合することで、最小限の計算コストで、プロ prioceptiveおよびピクセルベースのベンチマークにおいて最先端の性能を達成し、サンプル効率および学習速度において従来手法を上回る。

ABSTRACT

Off-policy deep reinforcement learning algorithms commonly compensate for overestimation bias during temporal-difference learning by utilizing pessimistic estimates of the expected target returns. In this work, we propose Generalized Pessimism Learning (GPL), a strategy employing a novel learnable penalty to enact such pessimism. In particular, we propose to learn this penalty alongside the critic with dual TD-learning, a new procedure to estimate and minimize the magnitude of the target returns bias with trivial computational cost. GPL enables us to accurately counteract overestimation bias throughout training without incurring the downsides of overly pessimistic targets. By integrating GPL with popular off-policy algorithms, we achieve state-of-the-art results in both competitive proprioceptive and pixel-based benchmarks.

研究の動機と目的

• オフポリシー深層強化学習における過大評価バイアスを是正することにより、ポリシー学習の安定性とサンプル効率を向上させること。
• 固定またはヒューリスティックなペナルティ戦略の制限を避ける、学習可能で適応的な懐疑的メカニズムを構築すること。
• 初期学習段階におけるエピステミック不確実性を活用して指向的な探索を促進する、懐疑的緩和（pessimism annealing）を導入することで探索を改善すること。
• SAC や DrQ といった確立されたオフポリシー手法と本手法を統合し、堅牢でスケーラブルな性能向上を実現すること。
• 本手法が多様なベンチマーク環境において、計算コストをほとんど増加させずに最先端の結果を達成できることを実証すること。

提案手法

• 時間差学習中のクライミングターゲットにおける過大評価バイアスを是正する、学習可能なペナルティメカニズムであるGeneralized Pessimism Learning (GPL)を提案する。
• 二重勾配降下を用いてバイアスの推定と最小化を同時に行う、新しい最適化手順である二重TD学習（dual TD-learning）を導入する。
• エピステミック不確実性を、複数のクライマーングネットワークが予測するリターン分布間の期待ウォッシャーライン距離によって測定し、その関数としてペナルティ重みを計算する。
• 初期学習段階で高い不確実性を持つ状態において探索を促進するため、バイアスがかかるがリスク志向のターゲットから開始する懐疑的緩和（pessimism annealing）を採用する。
• Soft Actor-Critic (SAC) および Data-regularized Q (DrQ) アルゴリズムとGPLを統合し、それぞれGPL-SACおよびGPL-DrQを構築する。
• 複数のクライマーングネットワーク間で共有され、グループ化されたパrameterizationを採用することで、現代のハードウェアにおける計算効率とスケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 固定またはヒューリスティックな戦略に依存せずに、オフポリシー深層強化学習における過大評価バイアスを、学習可能で動的なペナルティメカニズムが効果的に是正できるか？
• RQ2 標準的なTD学習と比較して、二重TD学習はクライマーング予測のバイアス推定と最小化においてどのように性能を発揮するか？
• RQ3 懐疑的緩和は、初期学習段階における探索とサンプル効率をどの程度向上させるか？
• RQ4 GPLは、計算コストをほとんど増加させずに、プロ prioceptiveおよびピクセルベースの環境において最先端の性能を達成できるか？
• RQ5 クライマーングアーキテクチャの選択（例：標準的 vs. 分布型）が、GPLの性能と効率に与える影響は何か？

主な発見

• GPL-SACは、100,000ステップ未満でHumanoidでスコア5000を達成し、標準的なSACと比べて9倍以上速い。
• GPL-SACは、挑戦的なMuJoCoベンチマークにおいて、モデルフリーおよびモデルベースの最先端手法を上回り、低データ環境でも同様の優位性を示した。
• GPL-DrQは、DeepMind Control Suiteのピクセルベース環境において、最近のDrQv2ベースラインを上回る性能を達成した。
• GPLの計算コストはほとんど無視できる：二重TD学習と懐疑的緩和を追加しても、ベースラインSACと比較して学習時間がたった2.5%増加した。
• クライマーングネットワーク数を2から20に増加させても、学習時間が12%未満にしか増加しなかったため、非線形的スケーリングであり、ハードウェア効率が非常に高いことが示された。
• W_1に基づく不確実性推定を用いたGPL-QR-SACは、GPL-SACと同程度の性能を示したため、OpenAI Gymのような低確率的環境では、分布型クライマーングが大きな利点をもたらさないことが示唆された。