[論文レビュー] Explicit Explore-Exploit Algorithms in Continuous State Spaces

Mikael Henaff|arXiv (Cornell University)|Nov 1, 2019

Reinforcement Learning in Robotics被引用数 14

ひとこと要約

この論文は、連続的または大規模な状態空間において、動的モデルのアンサンブルを維持することで、探索と活用の段階を明示的に分離するモデルベース強化学習アルゴリズムを提案する。探索はモデル予測の不一致を最大化することで行い、活用は洗練されたモデルを用いる。構造的複雑度測度における多項式的サンプル複雑度を有する、証明可能なサンプル効率性を達成し、ニューラルネットワークを用いた実証的評価も行われた。

ABSTRACT

We present a new model-based algorithm for reinforcement learning (RL) which consists of explicit exploration and exploitation phases, and is applicable in large or infinite state spaces. The algorithm maintains a set of dynamics models consistent with current experience and explores by finding policies which induce high disagreement between their state predictions. It then exploits using the refined set of models or experience gathered during exploration. We show that under realizability and optimal planning assumptions, our algorithm provably finds a near-optimal policy with a number of samples that is polynomial in a structural complexity measure which we show to be low in several natural settings. We then give a practical approximation using neural networks and demonstrate its performance and sample efficiency in practice.

研究の動機と目的

• 表形式の手法が失敗する大規模または連続的状態空間におけるサンプル効率的な強化学習アルゴリズムの開発。
• 一貫した動的モデルの集合における予測の不一致を最大化する方策を特定することで、体系的な探索を可能にすること。
• 実現可能性と最適計画の仮定の下で、アルゴリズムが構造的複雑度測度（モデル誤差行列のランク）の多項式的サンプル複雑度で近似的最適方策を発見することの証明。
• 実世界の環境でもサンプル効率性を維持できる、ニューラルネットワークを用いた実装の提供。

提案手法

• 観測経験と整合する動的モデルの集合を維持し、新しいデータが得られるたびに更新する。
• 仮想のMDPを解くことで探索を実行し、状態はモデル状態の連結であり、報酬はモデル予測間の分布的不一致（例：KLダイバージェンス）である。
• 時間ステップにわたるモデル予測の不一致を測定するための距離尺度δ（例：KLダイバージェンスまたは全変動）を用いる。
• 不一致を十分に誘発する方策が存在しなくなった時点で活用に移行し、累積報酬を最大化するための単一のモデルを選択して計画を実行する。
• ニューラルネットワークを用いて動的モデルを近似し、活用段階ではDQNまたはPPOを用いて方策最適化を実行する。
• 探索から得た軌道を保存するためのリプレイバッファを用い、収集したデータに基づいて教師あり学習でモデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 モデルの不一致に基づく明示的探索は、連続的または大規模な状態空間でサンプル効率的な学習を達成できるか？
• RQ2 実現可能性と最適計画の仮定の下で、このようなアルゴリズムのサンプル複雑度を支配する構造的複雑度測度は何か？
• RQ3 アンサンブルメンバー間のモデル不一致は、高次元または無限状態空間における効果的な探索をどのように導くか？
• RQ4 ニューラルネットワークによる近似は、実際の環境でもサンプル効率性を維持できるか？
• RQ5 連続的制御およびナビゲーションタスクにおいて、このアルゴリズムは内因的好奇心やRNDベースの探索と比較してどのように異なるか？

主な発見

• アルゴリズムは、モデル誤差行列のランクに多項式的サンプル複雑度を達成し、要因分解MDPや低ランクMDPといった自然な設定では低ランクとなる。
• 迷路環境では、DQNを用いたNeural-E3エージェントがMCTSベースの計画を上回った。特に、報酬の誤解を招く形状の下でも、探索におけるバイアスが低減されたためである。
• 連続的制御タスクでは、Neural-E3にDQNを用いた場合、優れた性能を示した。活用段階は、探索から得た経験を用いて75万回のDQN更新で訓練された。
• モデル不一致指標は未探索領域を効果的に特定した。迷路タスクでは、ステップ28まではモデルが一致していたが、ステップ29で不一致が生じ、重要な探索ポイントを示した。
• アルゴリズムは報酬の形状に強く、スパarsな報酬や欺瞞的報酬を持つ環境でもベースラインを上回った。
• ハイパーパramータチューニングの結果、優先リプレイと適切な学習率が安定した学習に不可欠であることが判明したが、パラメータノイズは性能向上に寄与しなかった。