[論文レビュー] Finite Sample Analysis of the GTD Policy Evaluation Algorithms in Markov Setting

Yue Wang, Wei Chen+3 more|arXiv (Cornell University)|Dec 1, 2017

Reinforcement Learning in Robotics被引用数 25

ひとこと要約

この論文は、マーカフ設定における勾配ベースの時系列差分（GTD）方策評価アルゴリズムの最初の有限標本解析を提供し、マーカフ過程の混合時間に依存する収束バウンドを導出する。GTDアルゴリズムが変動するステップサイズで収束することを示し、経験リプレイが収束を速めるために混合性を向上させることの有効性を説明する。

ABSTRACT

In reinforcement learning (RL), one of the key components is policy evaluation, which aims to estimate the value function (i.e., expected long-term accumulated reward) of a policy. With a good policy evaluation method, the RL algorithms will estimate the value function more accurately and find a better policy. When the state space is large or continuous \emph{Gradient-based Temporal Difference(GTD)} policy evaluation algorithms with linear function approximation are widely used. Considering that the collection of the evaluation data is both time and reward consuming, a clear understanding of the finite sample performance of the policy evaluation algorithms is very important to reinforcement learning. Under the assumption that data are i.i.d. generated, previous work provided the finite sample analysis of the GTD algorithms with constant step size by converting them into convex-concave saddle point problems. However, it is well-known that, the data are generated from Markov processes rather than i.i.d in RL problems.. In this paper, in the realistic Markov setting, we derive the finite sample bounds for the general convex-concave saddle point problems, and hence for the GTD algorithms. We have the following discussions based on our bounds. (1) With variants of step size, GTD algorithms converge. (2) The convergence rate is determined by the step size, with the mixing time of the Markov process as the coefficient. The faster the Markov processes mix, the faster the convergence. (3) We explain that the experience replay trick is effective by improving the mixing property of the Markov process. To the best of our knowledge, our analysis is the first to provide finite sample bounds for the GTD algorithms in Markov setting.

研究の動機と目的

• 現実的であるマーカフ過程によるデータ生成仮定の下で、GTDアルゴリズムの有限標本解析が不足しているという問題に取り組む。
• マーカフ設定における一般の凸-凹サドルポイント問題の有限標本バウンドを導出する。
• ステップサイズと混合時間の選択がGTDアルゴリズムの収束に与える影響を理解する。
• 経験リプレイが、より良い混合性をもたらすことでGTDアルゴリズムの収束をどのように向上させるかを説明する。
• 非i.i.d.データを伴う実用的強化学習設定におけるGTDアルゴリズムの理論的基盤を提供する。

提案手法

• 著者らは、マーカフ的データの下でGTDアルゴリズムを凸-凹サドルポイント問題としてモデル化する。
• 集中不等式と混合時間解析を用いて、サドルポイント問題の有限標本バウンドを導出する。
• 収束速度の主要係数として、元のマーカフ過程の混合時間を分析に組み込む。
• ステップサイズスケジューリングを分析し、さまざまな条件下での収束を確立する。
• 経験リプレイの有効性は、マーカフ過程の混合性を向上させることによるものとして説明する。
• 確率的近似理論とマーカフ連鎖理論の道具を用いて理論的結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 マーカフ的データ生成下で、GTDアルゴリズムの有限標本収束バウンドはどのように振る舞うか？
• RQ2 マーカフ過程の混合時間が、GTDアルゴリズムの収束速度を決定づける役割を果たすか？
• RQ3 マーカフ設定下で、ステップサイズの選択がGTDアルゴリズムの収束に与える影響は何か？
• RQ4 なぜ経験リプレイはGTDアルゴリズムの性能向上に有効なのか？
• RQ5 データがi.i.d.でない場合に、GTDアルゴリズムの有限標本バウンドを厳密に導出できるか？

主な発見

• GTDアルゴリズムは、マーカフ設定下でさまざまなステップサイズスケジューリングにおいて収束し、従来のi.i.d.結果を拡張する。
• GTDアルゴリズムの収束速度は、元のマーカフ過程の混合時間に比例する。
• より速い混合性を示すマーカフ過程は、GTDアルゴリズムの収束を速める。
• 経験リプレイは、データ生成マーカフ連鎖の混合性を向上させることで収束を改善する。
• 本研究は、マーカフ設定におけるGTDアルゴリズムの最初の有限標本解析を提供し、重要な理論的ギャップを埋める。
• 理論的バウンドは、GTDを凸-凹サドルポイント問題に変換し、マーカフ的サンプリング下での有限時間挙動を分析することで導出される。