[論文レビュー] Principled Exploration via Optimistic Bootstrapping and Backward Induction

Chenjia Bai, Lingxiao Wang+5 more|arXiv (Cornell University)|May 13, 2021

Reinforcement Learning in Robotics参考文献 58被引用数 7

ひとこと要約

本稿では、オプティミスティック・ブートストラップとバックワード・インダクションを組み合わせることで、サンプル効率を向上させる深層強化学習探索手法OB2Iを提案する。非パラメトリック・ブートストラップを用いてQ値の不一致を評価し、エピソード全体にわたって不確実性を後退的に伝播させることで、DRLにおける証明可能に効率的な探索を実現する。MNIST Mazeおよび49種類のAtariゲームにおいて、最先端の手法を上回る性能を達成する。

ABSTRACT

One principled approach for provably efficient exploration is incorporating the upper confidence bound (UCB) into the value function as a bonus. However, UCB is specified to deal with linear and tabular settings and is incompatible with Deep Reinforcement Learning (DRL). In this paper, we propose a principled exploration method for DRL through Optimistic Bootstrapping and Backward Induction (OB2I). OB2I constructs a general-purpose UCB-bonus through non-parametric bootstrap in DRL. The UCB-bonus estimates the epistemic uncertainty of state-action pairs for optimistic exploration. We build theoretical connections between the proposed UCB-bonus and the LSVI-UCB in a linear setting. We propagate future uncertainty in a time-consistent manner through episodic backward update, which exploits the theoretical advantage and empirically improves the sample-efficiency. Our experiments in the MNIST maze and Atari suite suggest that OB2I outperforms several state-of-the-art exploration approaches.

研究の動機と目的

• 表計算および線形MDPにおける理論的保証を維持する、深層強化学習の体系的探索手法の開発。
• 一般化されたUCBボーナス（ブートストラップQ関数から導出）を用いて、LSVI-UCBアルゴリズムを深層RLに拡張すること。
• エピソード内での時間的に一貫性のある方法で不確実性を伝播させることで、サンプル効率を向上させること。
• 理論的探索（例：UCB、事後分布サンプリング）と実用的深層RL応用の間のギャップを埋めること。
• ブートストラップQ値の不一致に基づく不確実性探索が、多様な環境において性能向上をもたらすことを実証的に検証すること。

提案手法

• OB2Iは非パラメトリック・ブートストラップを用いて複数のQネットワークを訓練し、その予測の分散を用いてエピステミック不確実性を推定する。
• ブートストラップQ値の上位信頼区間として一般化されたUCBボーナスを構築し、楽観的探索を促進する。
• 将来の不確実性推定値をエピソード内での以前の時刻ステップに後退的に伝播させるためにバックワード・インダクションを適用し、時間的に一貫性のある不確実性伝播を保証する。
• 理論的に、UCBボーナスが線形MDPにおけるLSVI-UCBボーナスと同等であることが示され、証明可能に効率的な手法との整合性が保証される。
• 先行研究で用いられる単一ステップの不確実性仮定を避けるために、楽観的Q値推定と時間的に拡張された探索を組み合わせる。
• 値推定の安定性とサンプル効率の向上のため、バックワード更新を用いる。

実験結果

リサーチクエスチョン

• RQ1 深層Qネットワークから導出されるブートストラップUCBボーナスは、深層RLにおける証明可能に効率的な探索を実現できるか？
• RQ2 不確実性伝播にバックワード・インダクションを適用することで、エピソード的RLにおけるサンプル効率が向上するか？
• RQ3 OB2Iは、BEPU、RND、NoisyNetなどの最先端探索手法と比較して、性能およびロバスト性において優れているか？
• RQ4 提案されたUCBボーナスは線形MDPにおいてLSVI-UCBと理論的に整合性を持つか？
• RQ5 なぜOB2Iは、モンテズマのレヴェンジのような短いホライズンの環境で性能を発揮しないのか？

主な発見

• MNIST Maze環境において、OB2IはBEBU、BEBU-UCB、BEBU-IDSその他の最先端手法を上回り、平均報酬が高くなる。
• 49種類のゲームからなるAtariスイートにおいて、OB2Iは全比較手法の中で最高の中央値および平均スコアを達成し、Ms. Pacmanでは中央値1,794.9、Video Pinballでは80,607.0を記録した。
• 長期間の時間的依存性を持つゲームで顕著な性能向上を示し、これは後退的不確実性伝播が長期間の依存性に対して最も効果的であることを示唆している。
• Video PinballやRoad Runnerなどの複数のゲームにおいて、OB2IはBEBUに対して100%を超える相対的スコア向上を達成した。
• 失敗要因分析の結果、OB2Iは短いホライズンの環境（例：モンテズマのレヴェンジ）で性能を発揮しないことが判明したが、それでもベースラインのDQNおよびBootDQNを上回った。
• 理論的分析により、OB2IのUCBボーナスが線形MDPにおいてLSVI-UCBボーナスと同等であることが確認され、証明可能に効率的な探索との整合性が裏付けられた。