[論文レビュー] Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo

Haque Ishfaq, Qingfeng Lan+5 more|arXiv (Cornell University)|May 29, 2023

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、ラングジュアン・モンテカルロを用いてQ関数の後方分布から直接サンプリングすることで、ガウス近似を避ける、証明可能に効率的な強化学習の探索手法であるLangevin Monte Carlo Least-Squares Value Iteration (LMC-LSVI)を提案する。線形MDPにおいて、$\widetilde{O}(d^{3/2}H^{5/2}\sqrt{T})$ のレグレットバウンドを達成し、前処理付きAdamの変種、Adam LMCDQNを用いてAtari57タスクで最先端の深層強化学習アルゴリズムを上回る性能を発揮する。

ABSTRACT

We present a scalable and effective exploration strategy based on Thompson sampling for reinforcement learning (RL). One of the key shortcomings of existing Thompson sampling algorithms is the need to perform a Gaussian approximation of the posterior distribution, which is not a good surrogate in most practical settings. We instead directly sample the Q function from its posterior distribution, by using Langevin Monte Carlo, an efficient type of Markov Chain Monte Carlo (MCMC) method. Our method only needs to perform noisy gradient descent updates to learn the exact posterior distribution of the Q function, which makes our approach easy to deploy in deep RL. We provide a rigorous theoretical analysis for the proposed method and demonstrate that, in the linear Markov decision process (linear MDP) setting, it has a regret bound of $ ilde{O}(d^{3/2}H^{3/2}\sqrt{T})$, where $d$ is the dimension of the feature mapping, $H$ is the planning horizon, and $T$ is the total number of steps. We apply this approach to deep RL, by using Adam optimizer to perform gradient updates. Our approach achieves better or similar results compared with state-of-the-art deep RL algorithms on several challenging exploration tasks from the Atari57 suite.

研究の動機と目的

• Q関数の後方分布に対する劣悪なガウス近似に依存する従来のトムソンサンプリング手法の限界を解消すること。
• 理論的保証を維持したまま、スケーラブルで実用的な深層強化学習の探索戦略を開発すること。
• 後方分布の構造に関する制限的な仮定を避けるために、Q関数の直接後方分布サンプリングを可能にすること。
• 高次元の深層RL設定でも実装可能でありながら、線形MDPにおいて証明可能な非線形レグレットを達成すること。
• Atari57のような挑戦的な探索ベンチマークにおいて、最先端の深層RLアルゴリズムを上回る実験的優位性を示すこと。

提案手法

• ラングジュアン・モンテカルロ（LMC）—マルコフ連鎖モンテカルロ法—を用いて、Q関数の真の後方分布から直接サンプリングし、ガウス近似を回避する。
• 確率的勾配ラングジュアンダイナミクス（SGLD）によるノイズ付き勾配更新を適用し、深層RLにおけるスケーラブルな後方分布近似を実現する。
• 反復的なノイズ付き更新を通じて後方分布サンプリングを実行する、原理的かつオンラインなRLアルゴリズムとしてのLMC-LSVIを導入する。
• 訓練の安定化と高次元の方策空間における収束の向上を図るため、Adam最適化子を用いた前処理付きバージョンのAdam LMCDQNを提案する。
• Q値推定における過大評価バイアスを軽減するために、ダブルQネットワークアーキテクチャを採用し、安定性とパフォーマンスを向上させる。
• SGLDにおける逆温度とバイアス要因のハイパーパrameterを用いて、探索ノイズの制御と、搧取と探索のバランスを調整する。

実験結果

リサーチクエスチョン

• RQ1 ラングジュアン・モンテカルロによるQ関数の直接後方分布サンプリングは、深層強化学習における証明可能な効率的探索を可能にするか？
• RQ2 後方分布のガウス近似を避けることで、複雑で高次元のRL環境におけるサンプル効率とパフォーマンスが向上するか？
• RQ3 線形MDP設定におけるLMCベースの探索手法の理論的レグレットバウンドは何か？ また、次元とホライズンにどのように依存するか？
• RQ4 Adamを用いた前処理付きSGLDは、深層Qネットワークにおける収束性とパフォーマンスを向上させつつ、探索保証を維持できるか？
• RQ5 提案手法は、Atari57のような挑戦的な探索ベンチマークにおいて、最先端の深層RLアルゴリズムと比較してどのように差をつけるか？

主な発見

• 提案されたLMC-LSVIアルゴリズムは、線形MDPにおいて、$\widetilde{O}(d^{3/2}H^{5/2}\sqrt{T})$ のレグレットバウンドを達成し、特徴次元$d$ に依存する点で最適である。
• Adam最適化子を用いた前処理付きバージョン、Adam LMCDQNは、Atari57ベンチマークスイートにおいて、最先端の深層RLアルゴリズムと同等または優れたパフォーマンスを達成した。
• Langevin DQNよりも多くのAtariゲームで性能を上回り、探索におけるAdamの前処理の有効性を示した。
• 実験結果から、ダブルQネットワークがなくてもAdam LMCDQNのパフォーマンスはわずかに低下するにとどまり、アーキテクチャ選択に対して頑健であることが示された。
• ハイパーパramータースイープの結果、逆温度$\beta_k$ とバイアス要因$a$ がパフォーマンスに顕著な影響を与え、$\beta_k = 10^{16}$ および $a = 1.0$ が強力な結果をもたらした。