[論文レビュー] Why So Pessimistic? Estimating Uncertainties for Offline RL through Ensembles, and Why Their Independence Matters

Seyed Kamyar Seyed Ghasemipour, Shixiang Gu+1 more|arXiv (Cornell University)|May 27, 2022

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本論文は、アンサンブルベースのオフライン強化学習における根本的な欠陥を特定する：Qネットワーク間で共有される悲観的ターゲットは、逆説的に楽観的な価値推定を生じさせる可能性がある。これを解決するために、著者らはMSG（Model Standard-deviation Gradients）を提案する。MSGは、各Qネットワークを別々のターゲットで独立して学習させることで、信頼性の高い下位信頼区間（LCB）推定を可能にする。MSGは、D4RLおよびRL Unpluggedベンチマークにおいて、特にantmaze環境で最先端の性能を達成しており、アブレーション実験により独立したアンサンブルの必要性が裏付けられている。

ABSTRACT

Motivated by the success of ensembles for uncertainty estimation in supervised learning, we take a renewed look at how ensembles of $Q$-functions can be leveraged as the primary source of pessimism for offline reinforcement learning (RL). We begin by identifying a critical flaw in a popular algorithmic choice used by many ensemble-based RL algorithms, namely the use of shared pessimistic target values when computing each ensemble member's Bellman error. Through theoretical analyses and construction of examples in toy MDPs, we demonstrate that shared pessimistic targets can paradoxically lead to value estimates that are effectively optimistic. Given this result, we propose MSG, a practical offline RL algorithm that trains an ensemble of $Q$-functions with independently computed targets based on completely separate networks, and optimizes a policy with respect to the lower confidence bound of predicted action values. Our experiments on the popular D4RL and RL Unplugged offline RL benchmarks demonstrate that on challenging domains such as antmazes, MSG with deep ensembles surpasses highly well-tuned state-of-the-art methods by a wide margin. Additionally, through ablations on benchmarks domains, we verify the critical significance of using independently trained $Q$-functions, and study the role of ensemble size. Finally, as using separate networks per ensemble member can become computationally costly with larger neural network architectures, we investigate whether efficient ensemble approximations developed for supervised learning can be similarly effective, and demonstrate that they do not match the performance and robustness of MSG with separate networks, highlighting the need for new efforts into efficient uncertainty estimation directed at RL.

研究の動機と目的

• 共有悲観的ターゲットを用いた既存のアンサンブルベースのオフラインRL手法に内在する根本的欠陥を調査すること。
• なぜオフラインRLにおける悲観的アプローチの目的にもかかわらず、共有ターゲットが楽観的な価値推定を引き起こすのかを理解すること。
• Qネットワークの独立した学習と別々のターゲットを用いることで、悲観的性を保証する新しいアルゴリズムを開発すること。
• 独立したアンサンブルが、共有または近似されたアンサンブル手法よりも、より頑健で正確な不確実性推定を実現することを実証的に検証すること。
• 教師付き学習から得られる効率的なアンサンブル近似が、オフラインRLにおいて有効であるかを評価し、RLに特化した新たな手法の必要性を特定すること。

提案手法

• Qネットワークのアンサンブルを独立して学習させるオフラインRLアルゴリズムであるMSGを提案する。各Qネットワークに対して別々のターゲットネットワークを用い、共有悲観的ターゲットを回避する。
• Qアンサンブルの下位信頼区間（LCB）を、全Qネットワークの予測の平均から標準偏差を引いた値として計算する。
• 行動価値のLCBを最適化することでポリシーを学習させ、保守的な価値推定を優遇することで悲観的性を確保する。
• 各Qネットワークごとに独立したターゲットネットワークを用いることで、アンサンブルの不確実性推定が真に悲観的であり、共有ターゲット計算によるバイアスを回避することを保証する。
• 深層ニューラルネットワークを用いて、標準的なオフラインRLベンチマーク（D4RLおよびRL Unplugged）に本手法を適用し、アンサンブルサイズおよび学習の独立性の影響をアブレーションする。
• 教師付き学習における効率的なアンサンブル近似の有効性を、オフラインRLの文脈で検証し、完全な独立学習と比較する。

実験結果

リサーチクエスチョン

• RQ1 Qネットワーク間で共有される悲観的ターゲットをアンサンブル手法に用いることで、オフラインRLにおける悲観的性の目的に反して楽観的な価値推定が生じるのか？
• RQ2 別々のターゲットを用いたQネットワークの独立した学習は、オフラインRLにおけるより信頼性が高く真の悲観的不確実性推定を可能にするのか？
• RQ3 MSGの性能は、antmazeのような挑戦的なベンチマークにおいて、最先端のオフラインRLアルゴリズムと比べてどうか？
• RQ4 アンサンブルサイズおよび学習の独立性は、オフラインRLにおける不確実性推定の頑健性と性能にどのような影響を与えるか？
• RQ5 教師付き学習から得られる効率的なアンサンブル近似は、オフラインRLに効果的に適用可能か、それとも信頼性のある不確実性推定には完全な独立学習が必要なのか？

主な発見

• 理論的分析およびトロイ・MDPの例を通じて、Qアンサンブルにおける共有悲観的ターゲットが、逆説的に楽観的な価値推定を引き起こすことが示された。
• 別々のターゲットでQネットワークを独立して学習させるMSGは、D4RLおよびRL Unpluggedベンチマークで最先端の性能を達成しており、特に挑戦的なantmaze環境で顕著である。
• アブレーションスタディにより、アンサンブルメンバーの独立した学習が不可欠であることが確認された。共有ターゲットや近似手法を用いた手法は悲観的性を維持できず、性能が劣る。
• 大きなアンサンブルサイズは性能向上に寄与し、独立した学習の利点は、異なるネットワークアーキテクチャおよび環境において一貫している。
• 教師付き学習から得られる効率的なアンサンブル近似は、MSGの別々のネットワークを用いた手法に比べて性能や頑健性が劣っており、RLに特化した不確実性推定手法の開発の必要性が示された。
• 本手法は、antmazeタスクにおいて、高度にチューニングされたベースラインを大幅に上回り、正しい悲観的推定の実用的影響を示している。