[論文レビュー] Sample-Optimal Parametric Q-Learning with Linear Transition Models.

Lin F. Yang, Mengdi Wang|arXiv (Cornell University)|Feb 13, 2019

Reinforcement Learning in Robotics参考文献 16被引用数 10

ひとこと要約

本稿では、線形遷移モデルを有するMDPに対して、特徴ベースの表現と分散低減を活用することで、$\tilde{O}(K/\tau^2(1-\gamma)^3)$ のサンプル複雑度を達成する、サンプル最適なパrametric Q学習アルゴリズムを提案する。ここで$K$は特徴次元、$\gamma$は割引因子である。情報理論的下界を用いた一致する下界により、多項対数因子を除いてサンプル効率が最適であることが証明される。

ABSTRACT

Consider a Markov decision process (MDP) that admits a set of state-action features, which can linearly express the process's probabilistic transition model. We propose a parametric Q-learning algorithm that finds an approximate-optimal policy using a sample size proportional to the feature dimension $K$ and invariant with respect to the size of the state space. To further improve its sample efficiency, we exploit the monotonicity property and intrinsic noise structure of the Bellman operator, provided the existence of anchor state-actions that imply implicit non-negativity in the feature space. We augment the algorithm using techniques of variance reduction, monotonicity preservation, and confidence bounds. It is proved to find a policy which is $\epsilon$-optimal from any initial state with high probability using $\widetilde{O}(K/\epsilon^2(1-\gamma)^3)$ sample transitions for arbitrarily large-scale MDP with a discount factor $\gamma\in(0,1)$. A matching information-theoretical lower bound is proved, confirming the sample optimality of the proposed method with respect to all parameters (up to polylog factors).

研究の動機と目的

• 線形遷移モデルを有する大規模MDPにおいて、サンプル効率を達成するパラメトリックQ学習アルゴリズムの開発。
• サンプル複雑度を状態空間のサイズに依存させず、特徴次元$K$にのみ依存させる。
• ベルマン作用素の単調性とノイズ構造を活用して、サンプル効率を向上させる。
• 一致する情報理論的下界を用いて、提案手法が多項対数因子を除いてサンプル最適であることを証明する。

提案手法

• 遷移モデルに線形関数近似を適用し、次元$K$の状態行動特徴でパrameter化する。
• 学習の安定化とサンプル効率の向上のため、分散低減技術を適用する。
• アーキテクチャ状態行動を用いて特徴空間における非負性を誘導することで、単調性の保持を強制する。
• 高確率での$\varepsilon$-最適性を保証するため、信頼区間を組み込む。
• これらの要素を統合することで、サンプル複雑度$\tilde{O}(K/\varepsilon^2(1-\gamma)^3)$ を達成する。
• 理論的分析により、一致する下界を確立することで、手法の最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックQ学習は、線形遷移モデルを有するMDPにおいて、状態空間サイズに依存しないサンプル複雑度を達成できるか？
• RQ2 ベルマン作用素の単調性と内在的ノイズ構造をどのように活用すれば、サンプル効率を向上させられるか？
• RQ3 このようなMDPにおいて$\varepsilon$-最適方策を学習するための根本的なサンプル複雑度の限界は何か？
• RQ4 分散低減と信頼区間を効果的に組み合わせることで、高確率での性能保証を確保できるか？
• RQ5 提案されたアルゴリズムのサンプル複雑度は、多項対数因子を除いて最適か？

主な発見

• 提案されたアルゴリズムは、高確率で$\varepsilon$-最適方策を$\tilde{O}(K/\varepsilon^2(1-\gamma)^3)$ のサンプル遷移で学習可能である。
• サンプル複雑度は、状態空間のサイズに依存せず、特徴次元$K$にのみ依存する。
• 情報理論的に最適なサンプル複雑度であることが、一致する下界により確認された。多項対数因子を除いて最適である。
• ベルマン作用素の単調性と内在的ノイズ構造が、サンプル効率の向上に成功して活用された。
• 分散低減と信頼区間技術により、高確率保証下での安定的かつ信頼性の高い学習が実現された。
• アルゴリズムは、任意の割引因子$\gamma \in (0,1)$ を有する、任意の大規模MDPにおいてもサンプル最適性を維持する。