[論文レビュー] Sample-Optimal Parametric Q-Learning Using Linearly Additive Features

Lin F. Yang, Mengdi Wang|arXiv (Cornell University)|Feb 13, 2019

Reinforcement Learning in Robotics参考文献 32被引用数 32

ひとこと要約

本稿では、線形加法的状態行動特徴を持つマルコフ決定過程（MDP）に対する、サンプル最適なパrametric Q学習アルゴリズムを提案する。アンカ状態行動仮定の下で単調性、分散低減、信頼区間を活用することで、$×\widetilde{O}(K/\epsilon^2(1-\gamma)^3)$ のサンプル複雑度を達成し、対数要因を除いて理論的下界と一致する。これは大規模MDPに対してほぼサンプル最適である。

ABSTRACT

Consider a Markov decision process (MDP) that admits a set of state-action features, which can linearly express the process's probabilistic transition model. We propose a parametric Q-learning algorithm that finds an approximate-optimal policy using a sample size proportional to the feature dimension $K$ and invariant with respect to the size of the state space. To further improve its sample efficiency, we exploit the monotonicity property and intrinsic noise structure of the Bellman operator, provided the existence of anchor state-actions that imply implicit non-negativity in the feature space. We augment the algorithm using techniques of variance reduction, monotonicity preservation, and confidence bounds. It is proved to find a policy which is $ε$-optimal from any initial state with high probability using $\widetilde{O}(K/ε^2(1-γ)^3)$ sample transitions for arbitrarily large-scale MDP with a discount factor $γ\in(0,1)$. A matching information-theoretical lower bound is proved, confirming the sample optimality of the proposed method with respect to all parameters (up to polylog factors).

研究の動機と目的

• 大規模MDPにおける次元の呪いを、構造的特徴表現を活用することで克服すること。
• 高確率で $\epsilon$-最適な方策を学習するために必要な最小の状態遷移サンプル数を特定すること。
• 特徴次元 $K$ に従ってスケーリングするが、状態空間サイズに依存しない、証明可能なサンプル効率の良いQ学習アルゴリズムを開発すること。
• タイトな情報理論的下界を確立し、それをアルゴリズムの性能と多項対数要因を除いて一致させること。

提案手法

• 関数フィッティングを避けるために、サンプル遷移に基づいてパラメータを更新するパラメトリックQ学習フレームワークを用いる。
• 価値反復中に誤差を厳密に制御するために、分散低減と信頼区間を活用する。
• ベルマン作用素の単調性とアンカ状態行動仮定を活用して、方策改善を保証する。
• ミニバッチサンプリングを用いた再帰的信頼領域更新を適用し、収束を加速する。
• 指数的に減少する誤差境界を備えた階層的パラメータ更新スキームを用い、単調な改善を保証する。
• マルコフ連鎖における全変動の法則と集中不等式を組み合わせた新規解析により、推定誤差をバインドする。

実験結果

リサーチクエスチョン

• RQ1 特徴ベースMDPにおいて、$\epsilon$-最適な方策を学習するために必要な情報理論的下界は何か？
• RQ2 Q学習アルゴリズムは、状態空間サイズに依存せず、特徴次元 $K$ のみに依存するサンプル複雑度を達成できるか？
• RQ3 単調性と分散低減をどのように活用することで、パラメトリックQ学習におけるサンプル効率を向上させられるか？
• RQ4 線形加法的特徴モデルの下で、証明可能なサンプル最適なアルゴリズムは存在するか？

主な発見

• 提案されたアルゴリズムは、$\widetilde{O}(K/\epsilon^2(1-\gamma)^3)$ のサンプル複雑度を達成し、情報理論的下界と対数要因を除いて一致する。
• アルゴリズムは、任意の初期状態から出発し、確率 $1-\delta$ 以上で $\epsilon$-最適な方策を発見する。そのために $\widetilde{O}(K/\epsilon^2(1-\gamma)^3 \cdot \log(1/\delta))$ のサンプルが必要である。
• $\gamma = 0.99$ の場合、加速版アルゴリズムは基本的なパラメトリックQ学習ベースラインよりも $10^8$ 倍速い。
• 本手法は、線形遷移モデルを有するMDPに対して、サンプル最適性（多項対数要因を除いて）を達成した初の手法である。
• アンカ状態行動仮定により特徴空間における非負性が保証され、これは単調な方策改善とタイトな誤差制御に不可欠である。