[論文レビュー] Finite-Sample Analysis of Contractive Stochastic Approximation Using Smooth Convex Envelopes

Zaiwei Chen, Siva Theja Maguluri+2 more|arXiv (Cornell University)|Jan 1, 2020

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

本稿では、一般化されたモラウ包の使用による滑らかな凸包を通じて、収縮的確率的近似の有限標本解析を提示する。これにより、リャプノフ関数における負のドリフトを可能とし、状態空間サイズに対して対数的依存性しか持たない収束バウンドを導出する。この手法により、オフポリシーTD学習におけるV-traceアルゴリズムの収束速度が初めて明らかにされた。

ABSTRACT

Stochastic Approximation (SA) is a popular approach for solving fixed-point equations where the information is corrupted by noise. In this paper, we consider an SA involving a contraction mapping with respect to an arbitrary norm, and show its finite-sample error bounds while using different stepsizes. The idea is to construct a smooth Lyapunov function using the generalized Moreau envelope, and show that the iterates of SA have negative drift with respect to that Lyapunov function. Our result is applicable in Reinforcement Learning (RL). In particular, we use it to establish the first-known convergence rate of the V-trace algorithm for off-policy TD-learning. Importantly, our construction results in only a logarithmic dependence of the convergence bound on the size of the state-space.

研究の動機と目的

• ノイズのある観測下における収縮写像を用いた確率的近似の有限標本誤差バウンドの開発。
• 特にV-traceのようなアルゴリズムを対象とする、オフポリシー手法を用いた強化学習における収束速度の分析の課題に取り組む。
• 従来の解析では多項式的またはそれ以上の依存性を示すが、収束バウンドの状態空間サイズへの依存性を低減すること。
• 一般化されたモラウ包を用いて、潜在関数に関連する滑らかなリャプノフ関数を構築し、確率的反復のドリフト解析を可能にする。
• オフポリシー時系列差分学習におけるV-traceアルゴリズムの、これまでに知られている最初の収束速度を確立すること。

提案手法

• 収縮写像に関連するポテンシャル関数の一般化されたモラウ包を用いて、滑らかなリャプノフ関数を構築する。
• モラウ包の滑らかさおよび凸性の性質を活用し、確率的近似反復における負のドリフトを導出する。
• 反復回数におけるリャプノフ関数の期待減少量をバウンドすることで、有限標本誤差を解析する。
• 一般ノルム下でのV-trace更新を収縮的確率的近似としてモデル化することにより、オフポリシーTD学習にこのフレームワークを適用する。
• 状態空間サイズに比例して対数的となる収束バウンドを導出する。これは、従来の多項式的依存性とは対照的である。
• 収縮写像の構造とノイズ仮定を活用し、ステップサイズが変化しても安定性と収束性を保証する。

実験結果

リサーチクエスチョン

• RQ1 滑らかな凸包を用いた収縮的確率的近似の有限標本解析は達成可能か？
• RQ2 任意のノルム下での収縮的確率的近似において、ステップサイズの選択は収束速度にどのように影響するか？
• RQ3 オフポリシーTD学習アルゴリズムにおいて、収束バウンドの状態空間サイズへの依存性は何か？
• RQ4 一般化されたモラウ包を用いて、確率的反復における負のドリフトを保証するリャプノフ関数を構築可能か？
• RQ5 オフポリシー時系列差分学習におけるV-traceアルゴリズムの、これまでに知られている最初の収束速度は何か？

主な発見

• 提案手法は、任意のノルム下での収縮的確率的近似に対して、有限標本誤差バウンドを達成する。
• 一般化されたモラウ包の使用により、負のドリフトを持つ滑らかなリャプノフ関数の構築が可能となり、安定性と収束性が保証される。
• 収束バウンドは状態空間サイズに対してのみ対数的依存性を示し、従来の解析における多項式的依存性と比べて顕著に改善されている。
• このフレームワークを用いて、オフポリシーTD学習におけるV-traceアルゴリズムの、これまでに知られている最初の収束速度が導出された。
• 一般ステップサイズのもとで解析が成立し、収縮写像を有する広範なクラスの確率的近似問題に適用可能である。
• 結果から、滑らかな凸包が強化学習におけるノイズを伴う反復アルゴリズムの有限標本解析において、実に有用であることが示された。