[論文レビュー] Organizing Experience: A Deeper Look at Replay Mechanisms for Sample-based Planning in Continuous State Domains

Yangchen Pan, Muhammad Zaigham Zaheer+3 more|arXiv (Cornell University)|Jun 12, 2018

Machine Learning and Algorithms参考文献 11被引用数 10

ひとこと要約

本論文は、再重み付け経験モデル（REMs）を用いて先行状態とオンポリシー遷移を効率的にサンプリングすることにより、連続状態空間におけるサンプルベースの計画を向上させる、半パラメトリックなモデルベース強化学習手法であるREM-Dynaを提案する。REM-Dynaは、特に確率的かつ高次元の連続的領域において、経験リプレイや他のモデルベースのベースラインを著しく上回ることを示しており、知的な状態選択により、より効果的でデータ効率の良い計画を可能にしている。

ABSTRACT

Model-based strategies for control are critical to obtain sample efficient learning. Dyna is a planning paradigm that naturally interleaves learning and planning, by simulating one-step experience to update the action-value function. This elegant planning strategy has been mostly explored in the tabular setting. The aim of this paper is to revisit sample-based planning, in stochastic and continuous domains with learned models. We first highlight the flexibility afforded by a model over Experience Replay (ER). Replay-based methods can be seen as stochastic planning methods that repeatedly sample from a buffer of recent agent-environment interactions and perform updates to improve data efficiency. We show that a model, as opposed to a replay buffer, is particularly useful for specifying which states to sample from during planning, such as predecessor states that propagate information in reverse from a state more quickly. We introduce a semi-parametric model learning approach, called Reweighted Experience Models (REMs), that makes it simple to sample next states or predecessors. We demonstrate that REM-Dyna exhibits similar advantages over replay-based methods in learning in continuous state problems, and that the performance gap grows when moving to stochastic domains, of increasing size.

研究の動機と目的

• 経験リプレイの限界を、連続的かつ確率的な強化学習領域において克服するため、より高いデータ効率を実現するモデルベースの代替手法を導入すること。
• 1ステップ計画に適した、データ効率的でインクリメンタルかつスケーラブルなモデル学習手法を構築すること。
• 探索制御戦略（先行状態サンプリング、オンポリシー採番、最近性優先）が、Dynaスタイルのアルゴリズムにおける計画性能に与える影響を調査すること。
• 表形式と連続的状態設定の両方において、Dynaベースの計画と経験リプレイを比較し、モデルベース計画がどのような状況で利点を発揮するかを特定すること。
• 関数近似下でのDynaスタイル計画を支援する際、異なるモデルタイプ（線形、ニューラルネットワーク、REMs）の有効性を評価すること。

提案手法

• 小さなプロトタイプセットと学習可能な係数を用いて、次状態と報酬の条件付き分布を学習する半パラメトリックモデルである再重み付け経験モデル（REMs）を導入する。
• モデル学習を簡素化するための条件付き独立性仮定を採用し、次状態と先行状態の分布を効率的に計算可能にする。
• 時系列差分誤差に基づくシンプルな学習ルールを用いてREMs係数を更新し、完全な再学習なしにインクリメンタルな更新を可能にする。
• Dynaスタイルの計画フレームワーク内にREMsを適用し、エージェントが状態と行動の探索制御キューからサンプリングし、TD誤差が高い状態の先行状態を優先する。
• 探索制御キューにおいてオンポリシー採番と最近性に基づく削除を実装し、データの関連性を向上させるとともに、分布シフトを低減する。
• グリッドワールドとリバースイムを含む、表形式と連続的状態環境を用いて、REMDynaを経験リプレイおよび他のモデルベースのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 特に、高優先度の状態の先行状態をサンプリングすることで、1ステップ計画における状態選択をモデルで制御することにより、連続的MDPにおけるデータ効率が向上するか？
• RQ2 異なるモデルタイプ（線形、ニューラルネットワーク、REMs）が、連続的かつ確率的領域におけるDynaスタイル計画の性能に与える影響は何か？
• RQ3 どのような条件下で、知的な探索制御を備えたDynaスタイル計画が経験リプレイを上回るのか、その理由は何か？
• RQ4 関数近似下でのDynaスタイル計画において、モデル学習のデータ効率が、その有効性にどの程度影響を及えるか？
• RQ5 最近性、優先度、オンポリシー採番といった設計選択が、非ステーショナリなまたは確率的な環境における計画アルゴリズムの性能に与える影響は何か？

主な発見

• REMDynaは、連続的グリッドワールドおよびリバースイム環境において、すべての経験リプレイバージョンおよび他のモデルベースのベースラインを上回る優れた性能を達成した。
• リバースイムでは、20,000ステップ以内にいかなる経験リプレイバージョンも最適報酬の85％に達しなかったが、REMDynaの全バージョンは達成でき、特に先行状態サンプリングを採用したバージョンが最も優れていた。
• 線形Dynaは、モデルの精度が低く、ステップサイズのチューニングに非常に敏感であったため、性能が悪く、性能向上は主にQ学習の更新によるものであり、有効な計画によるものではなかった。
• ニューラルネットワークモデルは、初期段階でデータ効率が悪いため性能が低く、数万ステップを経過してから改善が見られた。これは、Dynaにおけるデータ効率の良いモデルの必要性を強調している。
• REMDynaにおける先行状態とオンポリシー遷移の使用は、特に確率的領域において、より速い学習と優れたデータ効率をもたらした。
• 探索制御キューにおける最近性に基づくサンプル削除が、DynaおよびERの両方で優先度ベースの削除を上回った。これは、非ステーショナリな設定において、最近の経験が高TD誤差のサンプルよりも価値が高いかつ重要であることを示唆している。