[論文レビュー] Stochastic Primal-Dual Q-Learning

N. Jeong, Donghwan Lee+1 more|arXiv (Cornell University)|Oct 18, 2018

Reinforcement Learning in Robotics参考文献 26被引用数 8

ひとこと要約

本稿では、Q学習を確率的プライマルデュアル最適化問題として定式化する、新たなモデルフリーでオフポリシーな強化学習アルゴリズム、Stochastic Primal-Dual Q-Learning (SPD Q-learning) を提案する。時間変動する状態行動分布のもとでも収束を保証し、収束速度を理論的に示す。確率 $1-\delta$ で $\mathcal{O}\left(\frac{|\mathcal{S}|^{6}|\mathcal{A}|^{4}}{\zeta^{4}(1-\alpha)^{6}}\frac{1}{\varepsilon^{2}}\ln\left(\frac{1}{\delta}\right)\right)$ のサンプルで $\varepsilon$-サブオプティマルな方策が得られる。重要度サンプリングを用いずに、プライマルおよびデュアル解の両方から方策の回復が可能である。

ABSTRACT

In this work, we present a new model-free and off-policy reinforcement learning (RL) algorithm, that is capable of finding a near-optimal policy with state-action observations from arbitrary behavior policies. Our algorithm, called the stochastic primal-dual Q-learning (SPD Q-learning), hinges upon a new linear programming formulation and a dual perspective of the standard Q-learning. In contrast to previous primal-dual RL algorithms, the SPD Q-learning includes a Q-function estimation step, thus allowing to recover an approximate policy from the primal solution as well as the dual solution. We prove a first-of-its-kind result that the SPD Q-learning guarantees a certain convergence rate, even when the state-action distribution is time-varying but sub-linearly converges to a stationary distribution. Numerical experiments are provided to demonstrate the off-policy learning abilities of the proposed algorithm in comparison to the standard Q-learning.

研究の動機と目的

• 現実のトラジェクトリから信頼性のある方策学習が可能な、理論と実践のギャップを埋める。
• 標準的なオフポリシー手法とは異なり、重要度サンプリングを必要としない、モデルフリーでオフポリシーな強化学習アルゴリズムの開発。
• 非定常的で時間変動する状態行動分布下での収束性とサンプル複雑度に対する理論的保証の提供。
• Q関数推定とプライマルデュアル最適化を統合し、プライマルおよびデュアル解の両方から方策の回復を可能にする。
• 非定常的でサブ線形に収束する状態行動分布下における、オフポリシー強化学習の収束速度保証の初の確立。

提案手法

• ベルマン方程式を線形計画問題（LP）として定式化し、そのラグランジュ双対を導出し、プライマルデュアル最適化フレームワークを構築する。
• 任意の行動方策からのオンラインサンプルを用いて、プライマル（Q関数）およびデュアル（ラグランジュ乗数）変数を更新する確率的プライマルデュアルアルゴリズムを提案する。
• プライマル解から直接近似方策を回復できるQ関数推定ステップを導入する。
• 徐々に小さくなるステップサイズルールと確率的部分勾配を用いて、サンプリングノイズを扱い、収束を保証する。
• ラグランジュ関数を同時に最適化するためのサドルポイント問題の定式化を採用し、双対性を活用して最適方策への収束を保証する。
• マルティングル・ディファレンス列と集中不等式を用いて、サンプル複雑度の境界を導出する収束解析。

実験結果

リサーチクエスチョン

• RQ1 時間変動する状態行動分布下でも重要度サンプリングを用いずに収束を保証する、モデルフリーでオフポリシーな強化学習アルゴリズムを設計可能か？
• RQ2 プライマルおよびデュアル解の両方が回復可能な方策を提供する、Q学習のプライマルデュアル定式化を構築可能か？
• RQ3 非定常的サンプリング下での、このようなプライマルデュアルQ学習アルゴリズムの理論的収束速度は何か？
• RQ4 サンプル複雑度は、状態空間および行動空間のサイズ、割引率、および所望の精度にどのように依存するか？
• RQ5 確率的サンプリング下で、双対ギャップを高確率で有界にできるか？

主な発見

• SPD Q-learningアルゴリズムは、状態行動分布が時間変動しても、サブ線形に定常分布に収束する限り、理論的収束速度を保証する。
• アルゴリズムは、確率 $1-\delta$ で $\mathcal{O}\left(\frac{|\mathcal{S}|^{4}|\mathcal{A}|^{4}}{\zeta^{4}(1-\alpha)^{4}}\frac{1}{\varepsilon^{2}}\ln\left(\frac{1}{\delta}\right)\right)$ 回の反復で、双対ギャップが $\varepsilon$ 以下になる。
• 確率 $1-\delta$ 以上で、$\mathcal{O}\left(\frac{|\mathcal{S}|^{6}|\mathcal{A}|^{4}}{\zeta^{4}(1-\alpha)^{6}}\frac{1}{\varepsilon^{2}}\ln\left(\frac{1}{\delta}\right)\right)$ 回の反復で $\varepsilon$-サブオプティマルな方策が回復可能である。
• 本手法は、プライマルおよびデュアル解の両方から方策の回復が可能であり、追加の方策最適化ステップを不要にする。
• 収束解析により、状態空間および行動空間のサイズ、割引率、および $\zeta$ を通じた分布の混合レートに依存する非漸近的サンプル複雑度境界が確立された。
• 数値実験により、SPD Q-learningのオフポリシー学習能力が検証され、非一様な行動方策下でも、標準的なQ学習と比較して頑健な性能を示した。