[論文レビュー] Proximal Gradient Temporal Difference Learning: Stable Reinforcement Learning with Polynomial Sample Complexity

Bo Liu, Ian Gemp+4 more|arXiv (Cornell University)|Jun 6, 2020

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、元のベルマン誤差最小化問題から導出されるプライマルデュアル鞍点目的関数を介して、真の確率的勾配TDアルゴリズムを設計するための整合的フレームワークであるプロキシマル勾配時系列TD（PG-TD）学習を導入する。これは、オフポリシーGTDPメソッドにおける最初の有限サンプル解析を提供し、多項式的サンプル複雑度を証明するとともに、ミラー写像を用いた収束速度の向上を可能にし、実験によりベースラインおよびLSTD手法を上回る性能を確認した。

ABSTRACT

In this paper, we introduce proximal gradient temporal difference learning, which provides a principled way of designing and analyzing true stochastic gradient temporal difference learning algorithms. We show how gradient TD (GTD) reinforcement learning methods can be formally derived, not by starting from their original objective functions, as previously attempted, but rather from a primal-dual saddle-point objective function. We also conduct a saddle-point error analysis to obtain finite-sample bounds on their performance. Previous analyses of this class of algorithms use stochastic approximation techniques to prove asymptotic convergence, and do not provide any finite-sample analysis. We also propose an accelerated algorithm, called GTD2-MP, that uses proximal ``mirror maps'' to yield an improved convergence rate. The results of our theoretical analysis imply that the GTD family of algorithms are comparable and may indeed be preferred over existing least squares TD methods for off-policy learning, due to their linear complexity. We provide experimental results showing the improved performance of our accelerated gradient TD methods.

研究の動機と目的

• 勾配TD（GTD）アルゴリズムの恣意的導出を解消し、元のベルマン誤差最小化問題から導出される整合的プライマルデュアル鞍点目的関数を用いて真の確率的勾配法として定式化すること。
• 先行研究においてそのような解析が欠落していたことに対応し、オフポリシーGTDPアルゴリズムにおける最初の有限サンプル収束解析を提供すること。
• 収束速度の向上を図るため、プロキシマルミラー写像を用いて加速されたGTDP変種（例：GTD2-MP）の設計と解析を行うこと。
• 線形計算複雑度のおかげで、LSTD手法と比較してオフポリシー設定下で同等または優れた性能を示すGTDP手法の有効性を示すこと。
• 有限サンプリング下での一般化誤差と収束速度の理論的境界を確立し、実用的性能予測を可能にすること。

提案手法

• 元のベルマン誤差最小化問題から導出されるプライマルデュアル鞍点目的関数に対する確率的勾配降下法としてGTDアルゴリズムを定式化する。
• 安定で真の確率的勾配更新を導出するため、作用素分割技術を適用し、恣意的な項分解を回避する。
• 更新規則に曲率情報を組み込むことで収束を加速するため、プロキシマルミラー写像（例：GTD2-MP）を導入する。
• 鞍点誤差解析を用いて、価値関数推定の期待誤差に関する有限サンプルバインディングを導出する。
• サンプルサイズおよび問題の条件数を用いて、平均反復の最適解からの期待偏差をバインドすることで収束速度を確立する。
• 確率的近似および鞍点最適化に基づく統一的枠組みを用いて、既存および新規のGTD変種を分析する。

実験結果

リサーチクエスチョン

• RQ1 GTDアルゴリズムは、恣意的な分解ではなく、真の確率的勾配法として正式に導出可能か？
• RQ2 オフポリシーGTDメソッドの有限サンプル収束挙動は何か？ これはサンプル数およびアルゴリズムパラメータにどのように依存するか？
• RQ3 プロキシマルミラー写像を用いることで、GTDアルゴリズムの収束を加速しつつ安定性を維持できるか？
• RQ4 オフポリシー設定下で、GTDメソッドの有限サンプルバインディングはLSTDベース手法と比較してどうなるか？
• RQ5 バイアス付き重要度サンプリングの、提案されたGTD変種の収束および性能に与える影響は何か？

主な発見

• 本稿は、オフポリシーGTDPアルゴリズムにおける最初の有限サンプル収束バインディングを確立し、期待誤差がサンプル数に関して多項式的レートで減少することを示した。
• プロキシマルミラー写像を用いるGTD2-MPアルゴリズムは、実験により標準GTD手法よりも高速な収束速度を達成した。
• 特徴行列の条件数および遷移行列の最大特異値を用いて、有限サンプル誤差バインディングを導出した。これにより、アルゴリズムの安定性と速度に関する洞察が得られた。
• 解析により、GTD手法は1反復あたり線形計算複雑度を達成する一方、特徴次元に対して二次的複雑度を示すLSTD手法よりもスケーラブルであることが示された。
• 理論的枠組みにより、既存および新規のGTD変種の統一的解析が可能となり、有限サンプリング下でのロバストネスと収束性が実証された。
• 実験結果により、加速されたGTD2-MP手法が、バッテリーエネルギーアービテージドメインにおいて収束速度および最終誤差の点で、標準GTDおよびLSTDベースラインを上回ることが確認された。