[論文レビュー] CrossQ: Batch Normalization in Deep Reinforcement Learning for Greater Sample Efficiency and Simplicity

Aditya Bhatt, Daniel Palenicek+5 more|arXiv (Cornell University)|Feb 14, 2019

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

CrossQは、評価関数ネットワークにバッチ正則化を戦略的に適用し、ターゲットネットワークを排除することで、従来の深層強化学習手法に比べて優れたサンプル効率を達成する軽量な強化学習アルゴリズムを提案する。これにより、1つの更新あたりデータ使用量（UTD）が1に抑えられ、REDQ や DroQ よりも最大4倍速く学習が可能になる。複雑なアンサンブル手法を用いずに、SOTAの性能を達成する。

ABSTRACT

Sample efficiency is a crucial problem in deep reinforcement learning. Recent algorithms, such as REDQ and DroQ, found a way to improve the sample efficiency by increasing the update-to-data (UTD) ratio to 20 gradient update steps on the critic per environment sample. However, this comes at the expense of a greatly increased computational cost. To reduce this computational burden, we introduce CrossQ: A lightweight algorithm for continuous control tasks that makes careful use of Batch Normalization and removes target networks to surpass the current state-of-the-art in sample efficiency while maintaining a low UTD ratio of 1. Notably, CrossQ does not rely on advanced bias-reduction schemes used in current methods. CrossQ's contributions are threefold: (1) it matches or surpasses current state-of-the-art methods in terms of sample efficiency, (2) it substantially reduces the computational cost compared to REDQ and DroQ, (3) it is easy to implement, requiring just a few lines of code on top of SAC.

研究の動機と目的

• 高いUTD比や複雑なアンサンブル手法に依存せずに、深層強化学習におけるサンプル効率を向上させること。
• 従来の研究結果とは対照的に、オフポリシー深層強化学習においてバッチ正則化が訓練の安定性と性能向上に寄与するかどうかを調査すること。
• ターゲットネットワークや評価関数アンサンブルを排除することで、サンプル効率の高い強化学習における計算コストを低減すること。
• バッチ正則化、より広い評価関数ネットワーク、ターゲットネットワークの排除といった単純なアーキテクチャの変更が、REDQ や DroQ といったSOTAのアルゴリズムを上回ることを示すこと。

提案手法

• 訓練の安定性に使われるが計算コストを増加させる従来のターゲットネットワークを、SACから排除する。
• 訓練の安定性とQ値推定バイアスの低減を図るために、評価関数ネットワークに慎重にバッチ正則化を適用する。
• 幅広い評価関数ネットワークを用いることで最適化と学習性能を向上させ、幅広いネットワークが訓練に有利であるという実証的知見に基づく。
• UTD比を1に低く抑え、REDQ や DroQ（UTD=20）と比較して勾配計算コストを顕著に削減する。
• Adamオプティマイザーやエントロピー係数といった標準的なSACのコンponentsを維持するが、ネットワークアーキテクチャと学習ダイナミクスを変更することで安定性とサンプル効率を向上させる。
• バッチ正則化、ターゲットネットワークの排除、ネットワーク幅の変更が全体の性能に与える寄与を分離するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 従来の否定的結果とは対照的に、オフポリシー深層強化学習においてバッチ正則化を安定した訓練に成功させることが可能か？
• RQ2 SACからターゲットネットワークを排除しても性能が低下するか。それとも、バッチ正則化や広いネットワークといったアーキテクチャの改善で補えるか？
• RQ3 他のコンponentsを適切に最適化すれば、低UTD比（例：1）でもSOTAのサンプル効率を達成できるか？
• RQ4 バッチ正則化、広い評価関数ネットワーク、ターゲットネットワークの排除が、サンプル効率と学習速度に与える相対的寄与はどの程度か？

主な発見

• CrossQは、すべてのMuJoCo環境でSOTAのサンプル効率を達成し、学習速度と最終的な性能においてREDQ や DroQ を上回る。
• UTD比がわずか1であるにもかかわらず、UTD=20を用いるREDQ や DroQ と同等またはそれ以上の性能を達成しており、サンプル効率の達成には高いUTD比が必須ではないことを示している。
• 低UTD比とターゲットネットワークの排除により、壁時計時間での学習時間をREDQ や DroQ と比較して最大4倍短縮している。
• バッチ正則化と組み合わせることで、ターゲットネットワークの排除が実現可能かつ有効であることが示され、従来の「ターゲットネットワークは安定性に不可欠」という常識に疑問を呈する。
• バッチ正則化は、ターゲットネットワークが存在しない状況でも、オフポリシー強化学習における訓練の安定性とサンプル効率を顕著に向上させ、レイヤー正則化やReLU-over-maxといった他の正則化手法を上回る。
• 正規化されたQ値バイアスと性能の間に直接的な相関は見られない。CrossQはREDQ よりも高いバイアスを示すが、特にHumanoidのような困難なタスクではより速い学習速度を達成している。