[論文レビュー] Finite-Sample Analysis for SARSA and Q-Learning with Linear Function Approximation

Shaofeng Zou, Tengyu Xu+1 more|arXiv (Cornell University)|Feb 6, 2019

Reinforcement Learning in Robotics参考文献 23被引用数 10

ひとこと要約

本論文は、連続的状態空間における線形関数近似を用いたSARSAおよびQ学習の最初の有限標本解析を提示し、非i.i.d.データおよび動的変化する方策の下での収束速度を確立している。非i.i.d.データに対する新しい勾配バイアスのバウンディング技術を導入し、最近傍法と比較して線形関数近似がオーダー的に低い標本複雑度を達成できることを示している。

ABSTRACT

Though the convergence of major reinforcement learning algorithms has been extensively studied, the finite-sample analysis to further characterize the convergence rate in terms of the sample complexity for problems with continuous state space is still very limited. Such a type of analysis is especially challenging for algorithms with dynamically changing learning policies and under non-i.i.d. sampled data. In this paper, we present the first finite-sample analysis for the SARSA algorithm and its minimax variant (for zero-sum Markov games), with a single sample path and linear function approximation. To establish our results, we develop a novel technique to bound the gradient bias for dynamically changing learning policies, which can be of independent interest. We further provide finite-sample bounds for Q-learning and its minimax variant. Comparison of our result with the existing finite-sample bound indicates that linear function approximation achieves order-level lower sample complexity than the nearest neighbor approach.

研究の動機と目的

• 連続的状態空間における線形関数近似を用いたSARSAおよびQ学習の有限標本解析が不足しているという問題に取り組む。
• 非i.i.d.でサンプリングされたデータおよび動的変化する学習方策の下での収束速度の境界を確立する。
• 方策の動的変化を伴う強化学習における勾配バイアスをバウンディングするための新しい技術を開発する。
• 線形関数近似と最近傍法の間での標本複雑度を比較する。

提案手法

• 動的変化する学習方策に起因する勾配バイアスをバウンディングするための新しい技術を開発する。
• この技術を適用して、ゼロサムマルコフゲームにおけるSARSAおよびそのミニマックス変種の有限標本収束境界を導出する。
• 同じ仮定の下で、Q学習およびそのミニマックス対応物の分析を拡張する。
• 連続的状態空間における逐次的で非i.i.i.d.なデータをモデル化するための単一のサンプルパスフレームワークを用いる。
• 値関数を表現するために線形関数近似を採用し、連続領域へのスケーラビリティを実現する。
• 望ましい精度に到達するための必要な標本数を定量化する標本複雑度の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 非i.i.i.d.データの下で、線形関数近似を用いたSARSAの有限標本収束速度は何か？
• RQ2 学習方策が動的に変化する強化学習において、勾配バイアスはどのようにバウンディングできるか？
• RQ3 線形関数近似は最近傍法と比較してどの程度の標本複雑度を達成するか？
• RQ4 線形関数近似を用いたQ学習およびそのミニマックス変種について、有限標本境界を確立できるか？
• RQ5 既存の結果と比較して、標本複雑度のオーダーの観点から理論的境界はどのように異なるか？

主な発見

• 本論文は、非i.i.i.d.データの下で、連続的状態空間における線形関数近似を用いたSARSAの最初の有限標本収束境界を確立した。
• SARSAのミニマックス変種およびQ学習のミニマックス対応物についても、有限標本境界が導出された。
• 開発された新しい勾配バイアスバウンディング技術は、特定のアルゴリズムに限定されず、独立しての価値がある可能性がある。
• 理論的分析により、線形関数近似が最近傍法と比較してオーダー的に低い標本複雑度を達成できることを示した。
• 結果は、学習効率の定量的特徴付けを提供し、連続的制御タスクにおける線形関数近似の使用を支援する。