[論文レビュー] Planning with Expectation Models

Yi Wan, Zaheer Abbas+3 more|arXiv (Cornell University)|Apr 2, 2019

Reinforcement Learning in Robotics参考文献 2被引用数 5

ひとこと要約

本稿では、期待値モデルを用いた確率的環境における計画に特化したモデルベース方策評価アルゴリズムであるGradient Dynaを提案する。新しい目的関数であるモデルベース平均二乗予測ベルヌーイ誤差（MB-MSPBE）を活用し、先行研究よりも緩い条件下でも収束を示す。実験的に、標準的手法が発散する状況でも安定的かつ正確な価値関数学習を実現している。

ABSTRACT

Distribution and sample models are two popular model choices in model-based reinforcement learning (MBRL). However, learning these models can be intractable, particularly when the state and action spaces are large. Expectation models, on the other hand, are relatively easier to learn due to their compactness and have also been widely used for deterministic environments. For stochastic environments, it is not obvious how expectation models can be used for planning as they only partially characterize a distribution. In this paper, we propose a sound way of using approximate expectation models for MBRL. In particular, we 1) show that planning with an expectation model is equivalent to planning with a distribution model if the state value function is linear in state features, 2) analyze two common parametrization choices for approximating the expectation: linear and non-linear expectation models, 3) propose a sound model-based policy evaluation algorithm and present its convergence results, and 4) empirically demonstrate the effectiveness of the proposed planning algorithm.

研究の動機と目的

• 決定論的環境で一般的に用いられる期待値モデルを、任意の確率的環境において計画に信頼性を持って使用する課題に対処すること。
• 期待値モデルを用いる従来のモデルベース方策評価手法に見られる不安定性と収束の欠如を克服すること。
• 期待値モデルを用いた確率的MDPにおける理論的裏付けが付いた収束性を持つ方策評価アルゴリズムの開発。
• 状態特徴量における線形価値関数が、期待値モデルによる計画と完全な分布モデルによる計画の間で等価であることを示すこと。
• 従来の研究よりも弱い仮定で安定した学習と収束を可能にする新たな目的関数（MB-MSPBE）の確立。

提案手法

• 期待値モデルを用いた方策評価のための新しい目的関数、モデルベース平均二乗予測ベルヌーイ誤差（MB-MSPBE）を提案する。
• MB-MSPBEを最小化する勾配ベースの計画アルゴリズム（Gradient Dyna）を導出する。これにより、従来の手法よりも緩い条件下でも収束を保証する。
• 状態価値が状態特徴ベクトルに関して線形である特徴ベース表現を用いることで、分布ベースの計画と理論的に同等となることを実現する。
• 行動方策から収集した経験を用いたオンラインモデル学習を適用し、次状態特徴量と報酬の平均二乗誤差に基づいて期待値モデルを更新する。
• 収束のためのi.i.d.条件を近似するために、最近訪問された状態からサンプリングするための探索制御を導入し、実用的な安定性を向上させる。
• タイルコーディングまたは学習可能な特徴表現を用いて、状態を固定次元のベクトルに写像し、高次元空間における効率的な関数近似を可能にする。

実験結果

リサーチクエスチョン

• RQ1 期待値モデルは、分布情報の一部しか捉えないにもかかわらず、確率的環境における計画に信頼性をもって使用できるか？
• RQ2 期待値モデルによる計画が、完全な分布モデルによる計画と等価となる条件は何か？
• RQ3 期待値モデルを用いたモデルベース方策評価アルゴリズムが、従来のアプローチよりも弱い仮定で収束を達成できるか？
• RQ4 期待値モデルの線形および非線形パラメータ化の選択が、性能と安定性に与える影響は何か？
• RQ5 期待値モデルに対する勾配ベースのアルゴリズムが、標準的手法が発散する状況でも実用的に安定的かつ正確な価値関数推定を達成できるか？

主な発見

• Four RoomsおよびMountain Carの両環境において、Gradient DynaはオフポリシーLSTD解に収束し、後者では誤差が0.001にまで低下した。これにより高い正確性が示された。
• 反例ドメインでは、線形および非線形期待値モデルを用いたTD(0)は価値関数の発散を示したが、Gradient Dynaは安定しており、RMSEが2.0に収束した。
• 理論的分析により、価値関数が状態特徴ベクトルに関して線形であれば、期待値モデルによる計画と分布モデルによる計画が等価であることが示された。
• 提案されたMB-MSPBE目的関数により、Suttonら（2012）の研究で想定されたよりも緩い条件下でも収束が保証された。
• 真の価値関数が線形であっても、非線形期待値モデルは、より優れた近似能力と安定性のおかげで理論的に正当化される。
• 実験的結果により、Gradient Dynaが確率的環境全体で安定性と正確性を維持しており、同様の条件下で発散する標準的手法を上回ることを確認した。