[論文レビュー] On Optimism in Model-Based Reinforcement Learning.

Aldo Pacchiano, Philip Ball+3 more|arXiv (Cornell University)|Jun 21, 2020

Advanced Bandit Algorithms Research参考文献 63被引用数 14

ひとこと要約

本稿では、ノイズ拡張マルコフ決定過程（MDP）を用いた、モデルベース強化学習における取り扱い可能な楽観的メカニズムを提案する。これにより、理論的レグレットバウンドが得られ、ディープRLにおける実用的導入が可能になる。MDPのダイナミクスにガウスノイズを注入することで、レグレットバウンド $ ilde{ mathcal{O}}(| mathcal{S}|H oot{| mathcal{S}|| mathcal{A}|T})$ を達成し、ディープRLにおける理論と実装の橋渡しを果たす。

ABSTRACT

The principle of optimism in the face of uncertainty is prevalent throughout sequential decision making problems such as multi-armed bandits and reinforcement learning (RL), often coming with strong theoretical guarantees. However, it remains a challenge to scale these approaches to the deep RL paradigm, which has achieved a great deal of attention in recent years. In this paper, we introduce a tractable approach to optimism via noise augmented Markov Decision Processes (MDPs), which we show can obtain a competitive regret bound: $ ilde{\mathcal{O}}( |\mathcal{S}|H\sqrt{|\mathcal{S}||\mathcal{A}| T } )$ when augmenting using Gaussian noise, where $T$ is the total number of environment steps. This tractability allows us to apply our approach to the deep RL setting, where we rigorously evaluate the key factors for success of optimistic model-based RL algorithms, bridging the gap between theory and practice.

研究の動機と目的

• ディープ強化学習における楽観的アプローチのスケーリングを可能にし、理論的保証が欠落しがちな状況に対処すること。
• 理論的レグレットバウンドが保証される、実用的かつ取り扱いやすいモデルベースRLへの楽観的アプローチの統合手法を開発すること。
• MDPにおける理論的楽観的アプローチと現実世界のディープRLアプリケーションの間のギャップを埋めること。
• ディープラーニング環境下における楽観的モデルベースRLの成功に寄与する要因を評価すること。

提案手法

• 本手法は、ガウスノイズを環境ダイナミクスに注入することで楽観的性を誘発するノイズ拡張マルコフ決定過程（MDP）を導入する。
• ノイズの注入により、元のMDPが、楽観的計画が取り扱いやすく解析可能な新しいMDPに変換される。
• ガウスノイズ拡張のもとで、レグレットバウンド $ mathcal{O}(| mathcal{S}|H oot{| mathcal{S}|| mathcal{A}|T})$ が導出される。
• フレームワークはディープニューラルネットワークと互換性があり、ディープRLパイプラインへの統合を可能にする。
• 明示的な探索ボーナスや複雑な探索戦略を必要とせず、モデルベースRLにおける楽観的計画の利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルベースRLにおける楽観的性は、ディープRL環境にスケーラブルかつ取り扱いやすい形にできるか？
• RQ2 ノイズ拡張MDPを用いた楽観的メソッドの理論的レグレットバウンドは何か？
• RQ3 ノイズの種類や大きさといった、主な設計選択がディープRLにおける楽観的モデルベースRLの性能に与える影響は何か？
• RQ4 ノイズ拡張MDPは、理論的楽観的性と実用的ディープRLアルゴリズムのギャップをどの程度埋められるか？

主な発見

• ガウスノイズを用いたノイズ拡張MDPフレームワークは、レグレットバウンド $ mathcal{O}(| mathcal{S}|H oot{| mathcal{S}|| mathcal{A}|T})$ を達成し、強力な理論的保証を提供する。
• 明確な定式化のおかげでスケーラブルであり、複雑な環境における実用的導入が可能である。
• 理論的楽観的性と実用的モデルベースRLの間を効果的に橋渡しし、ディープRLにおける原理的探索の道筋を提供する。
• ノイズ分布やモデルの不確実性といった、楽観的モデルベースRLに影響を与える要因の厳密な評価が可能になる。