[論文レビュー] Uncertainty-Based Offline Reinforcement Learning with Diversified Q-Ensemble

Gaon An, Seungyong Moon+2 more|arXiv (Cornell University)|Oct 4, 2021

Reinforcement Learning in Robotics参考文献 27被引用数 48

ひとこと要約

本論文は、切り捨てられた Q 学習とアンサンブル多様化を通じて不確実性ベースのペナルティを用い、ネットワーク数を抑えつつ最先端の結果を達成する、アンサンブル-勾配多様化型オフラインRL手法 EDAC を紹介する。

ABSTRACT

Offline reinforcement learning (offline RL), which aims to find an optimal policy from a previously collected static dataset, bears algorithmic difficulties due to function approximation errors from out-of-distribution (OOD) data points. To this end, offline RL algorithms adopt either a constraint or a penalty term that explicitly guides the policy to stay close to the given dataset. However, prior methods typically require accurate estimation of the behavior policy or sampling from OOD data points, which themselves can be a non-trivial problem. Moreover, these methods under-utilize the generalization ability of deep neural networks and often fall into suboptimal solutions too close to the given dataset. In this work, we propose an uncertainty-based offline RL method that takes into account the confidence of the Q-value prediction and does not require any estimation or sampling of the data distribution. We show that the clipped Q-learning, a technique widely used in online RL, can be leveraged to successfully penalize OOD data points with high prediction uncertainties. Surprisingly, we find that it is possible to substantially outperform existing offline RL methods on various tasks by simply increasing the number of Q-networks along with the clipped Q-learning. Based on this observation, we propose an ensemble-diversified actor-critic algorithm that reduces the number of required ensemble networks down to a tenth compared to the naive ensemble while achieving state-of-the-art performance on most of the D4RL benchmarks considered.

研究の動機と目的

• 明示的な挙動ポリシー推定やデータ分布サンプリングを伴わない、堅牢なオフラインRLの動機づけ。
• Q関数のアンサンブルによる予測不確実性を利用して、OOD（分布外）行動をペナルティする。
• 切り捨てQ学習とともにQアンサンブルの規模を増やすと、強力なオフラインRL性能を得られることを示す。
• アンサンブル-勾配多様化正規化子を用いて、必要なアンサンブル規模を削減する。
• D4RL MuJoCo および Adroit ベンチマークで最先端結果を示す。

提案手法

• N 個のQネットワークのアンサンブルを採用し、アンサンブルの最小値を用いて切り捨てQ学習ターゲットを計算する。
• アンサンブル予測の下限信頼区間を利用して不確実性ベースのペナルティを適用する。
• アンサンブル勾配多様化（ES）目的を導入し、各Qネットワーク間の勾配整合を最小化することで勾配多様性を最大化する。
• 切り捨てQ学習ターゲット、ネットワークごとのQ関数更新、およびES正則化を組み合わせてEDAC（Ensemble-Diversified Actor Critic）を定式化する。
• アルゴリズム的な記述を提供し、ターゲットを y = r + γ min_j Q'φ_j'(s', a') − β log πθ(a'|s'), SACと同様に Qφ_i および θ の更新を行い、さらに ES 正則化を加える。
• EDAC が、ナイーブな SAC-N よりもはるかに少ないアンサンブル数で競争力のある、あるいは優れた性能を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 Q値予測の不確実性を効果的に活用して、データ分布サンプリングや挙動ポリシー推定を行わずにオフラインRLを制約できるか？
• RQ2 高数のQアンサンブルと切り捨てQ学習はオフラインRLの性能を向上させるか、そしてアンサンブル勾配多様化は必要なアンサンブルサイズを削減できるか？
• RQ3 勾配多様化は、オフラインRLにおける標準的なアンサンブル手法と比べて安定性と性能にどう影響するか？

主な発見

• 切り捨てQ学習を用いたQネットワーク数の増加はオフラインRLの性能を向上させ、いくつかのタスクで従来の最先端を上回る。
• 切り捨てQ学習は悲観的ペナルティとして機能し、アンサンブルの不確実性を活用してOODデータでの過大評価を効果的に低減する。
• アンサンブル勾配多様化目的（ES）は勾配の多様性を高め、非常に大きなアンサンブル（ Hopper では数百から 50 未満へ）を必要とせずに強い性能を維持する。
• EDAC は、アンサンブルの悲観性と勾配多様化を組み合わせた手法で、検討されたほとんどの D4RL ベンチマークで最先端の性能を達成し、しばしば CQL よりも低い計算量で済む。
• D4RL MuJoCo Gym での経験的結果は、EDAC と SAC-N がランダム・ミディアム・エキスパートのデータセット全般でベースラインを上回るか競合し、EDAC は SAC-N より少ないQネットワーク数で高い平均性能を示す。
• Adroit タスクでは EDAC と SAC-N が堅牢に動作し、特にペン関連タスクで以前の結果と同等かそれ以上を示すことが多い。