[論文レビュー] Sample Efficient Deep Reinforcement Learning via Uncertainty Estimation

Vincent Mai, Kaustubh Mani+1 more|arXiv (Cornell University)|Jan 5, 2022

Reinforcement Learning in Robotics被引用数 15

ひとこと要約

本稿では、逆分散強化学習（IV-RL）を提案する。これは、異分散性の不確実性を価値関数の監視において推定するために、分散ネットワークと分散アンサンブルを組み合わせたベイジアンフレームワークであり、深層強化学習におけるサンプル効率を向上させる。時間差報酬のノイズを動的に低減するバッチ逆分散重み付けを適用することで、離散的および連続的制御タスクにおいて顕著な性能向上を達成し、分散スケールの変化に対して感受性が低い。

ABSTRACT

In model-free deep reinforcement learning (RL) algorithms, using noisy value estimates to supervise policy evaluation and optimization is detrimental to the sample efficiency. As this noise is heteroscedastic, its effects can be mitigated using uncertainty-based weights in the optimization process. Previous methods rely on sampled ensembles, which do not capture all aspects of uncertainty. We provide a systematic analysis of the sources of uncertainty in the noisy supervision that occurs in RL, and introduce inverse-variance RL, a Bayesian framework which combines probabilistic ensembles and Batch Inverse Variance weighting. We propose a method whereby two complementary uncertainty estimation methods account for both the Q-value and the environment stochasticity to better mitigate the negative impacts of noisy supervision. Our results show significant improvement in terms of sample efficiency on discrete and continuous control tasks.

研究の動機と目的

• モデルフリーな深層強化学習における、ノイズの多い価値関数の監視によって引き起こされるサンプル非効率性を解消すること。
• 時間差学習における不確実性の原因を体系的に分析し、環境の確率的性質と予測分散を区別すること。
• 不確実性推定に基づく重み付けによって、学習の安定性とサンプル効率を向上させること。
• 不確実性スケールの変化に対しても有効な識別力を維持できる、ロバストでスケール不変の重み付け方式を開発すること。
• 主なアーキテクチャの変更を伴わずに、DQN や SAC といった標準的な DRL アルゴリズムに不確実性推定を統合すること。

提案手法

• 環境の確率的性質に起因する価値予測のノイズを推定するために、負の対数尤度損失で訓練された分散ネットワークを用いる。
• ブートストラップサンプル上で訓練された複数の Q ネットワーク（分散アンサンブル）を用いて、Q 値のターゲットにおける予測不確実性を推定する。
• 2つの不確実性推定値をガウス混合モデルを用いて組み合わせ、各ターゲットの包括的な不確実性測度を生成する。
• バッチ逆分散（BIV）重み付けを適用し、サンプル重みを推定分散の逆数に比例させ、最小有効バッチサイズ（MEBS）を維持するように正規化する。
• BIV 重み付け方式は、学習中に分散スケールが変化しても、識別力を保持できるように動的に調整される。
• DQN および SAC に統合され、探索は上界信頼区間（UCB）ボーナスによって制御され、探索と活用のバランスを保つ。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習における価値関数の監視における不確実性の源—環境の確率的性質と予測分散—は、どのように相互作用するか？
• RQ2 分散ネットワークと分散アンサンブルを組み合わせることで、単独で用いる場合よりも信頼性の高い不確実性推定が達成できるか？
• RQ3 推定不確実性に基づく逆分散重み付けは、一様またはヒューリスティックな重み付け方式と比較して、DRLにおけるサンプル効率を向上させるか？
• RQ4 提案された BIV 重み付け方式は、学習中に不確実性スケールが変化しても、安定した性能を維持できるか？
• RQ5 IV-RL は、UCB などのオプティミズムに基づく探索戦略と、矛盾を起こさずに併用可能か、その程度はどの程度か？

主な発見

• IV-RL は、MuJoCo および Procgen 環境における離散的および連続的制御タスクにおいて、ベースラインの DQN や SAC と比較して顕著なサンプル効率の向上を達成する。
• 複数のベンチマークで一貫した性能向上が得られ、最終的な報酬と学習速度の両面で改善が見られる。
• 分散ネットワークのみを用いた場合、わずかな改善にとどまるため、アンサンブルに基づく不確実性推定が、強靭性を確保するために不可欠であることが示された。
• BIV 重み付け方式は、SUNRISE や UWAC といったヒューリスティック手法を上回り、分散スケールが変化しても安定した識別力を維持する。
• 不確実性推定と BIV 重み付けの組み合わせにより、分散スケールのハイパーパramータチューニングが不要となり、MEBS 正規化のおかげで安定した学習が可能になる。
• 実験的結果から、IV-RL と OFU に基づく探索戦略は効果的に併用可能であり、両方を適用した場合に性能の劣化が観察されないことが示された。