[論文レビュー] Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction

Gen Li, Yuting Wei+3 more|arXiv (Cornell University)|Jun 4, 2020

Age of Information Optimization被引用数 5

ひとこと要約

本稿は、1つのマーケフ過程に従う非同期Q学習について、より鋭い分析を提供し、従来の研究より少なくとも $|\mathcal{S}||\mathcal{A}|$ および $t_{\text{mix}}|\mathcal{S}||\mathcal{A}|$ の改善を達成するサンプル複雑性の上限を確立している。さらに、有効なホライズン $1/(1-\gamma)$ におけるスケーリングを改善する分散低減型の変種を導入し、混合時間と状態行動占有確率に関する標準的な仮定の下で、よりタイトな収束レートを達成している。

ABSTRACT

Asynchronous Q-learning aims to learn the optimal action-value function (or Q-function) of a Markov decision process (MDP), based on a single trajectory of Markovian samples induced by a behavior policy. Focusing on a $γ$-discounted MDP with state space $\mathcal{S}$ and action space $\mathcal{A}$, we demonstrate that the $\ell_{\infty}$-based sample complexity of classical asynchronous Q-learning --- namely, the number of samples needed to yield an entrywise $\varepsilon$-accurate estimate of the Q-function --- is at most on the order of $\frac{1}{μ_{\min}(1-γ)^5\varepsilon^2}+ \frac{t_{mix}}{μ_{\min}(1-γ)}$ up to some logarithmic factor, provided that a proper constant learning rate is adopted. Here, $t_{mix}$ and $μ_{\min}$ denote respectively the mixing time and the minimum state-action occupancy probability of the sample trajectory. The first term of this bound matches the sample complexity in the synchronous case with independent samples drawn from the stationary distribution of the trajectory. The second term reflects the cost taken for the empirical distribution of the Markovian trajectory to reach a steady state, which is incurred at the very beginning and becomes amortized as the algorithm runs. Encouragingly, the above bound improves upon the state-of-the-art result \cite{qu2020finite} by a factor of at least $|\mathcal{S}||\mathcal{A}|$ for all scenarios, and by a factor of at least $t_{mix}|\mathcal{S}||\mathcal{A}|$ for any sufficiently small accuracy level $\varepsilon$. Further, we demonstrate that the scaling on the effective horizon $\frac{1}{1-γ}$ can be improved by means of variance reduction.

研究の動機と目的

• マーケフ過程に従う非同期Q学習のサンプル複雑性解析におけるギャップを埋めること。
• 最適Q関数の $\varepsilon$-精度推定に必要なサンプル数のよりタイトな上限を提供すること。
• 分散低減技術を用いて、有効ホライズン $1/(1-\gamma)$ への依存性を改善すること。
• 混合時間 $t_{\text{mix}}$ と最小占有確率 $\mu_{\text{min}}$ が収束に与える影響を分析すること。
• 非i.i.d.なマーケフ過程の軌道を考慮しつつ、同期的Q学習と同等の性能を示す上限を確立すること。

提案手法

• 定常学習率下でのQ値更新ダイナミクスの再帰的解析を用い、$\ell_\infty$-ベースのサンプル複雑性上限を導出。誤差をバイアスと分散の成分に分解する。
• マーケフ連鎖における集中不等式を活用し、定常学習率下でのQ値更新ダイナミクスの再帰的解析を実施。
• カバレッジ時間に基づく解析を導入し、すべての状態行動ペアが十分に訪問されるまでの時間を制限。これにより、混合時間 $t_{\text{mix}}$ と関連付ける。
• エポックごとの周期的平均化を用いる分散低減型Q学習の変種を提案。推定分散を低減する。
• 大誤差領域（$\|\overline{\bm{Q}} - \bm{Q}^\star\|_\infty > 1/\sqrt{1-\gamma}$）と小誤差領域の2段階の解析を採用。
• ホーフィング型不等式と状態行動ペアにおける和集合不等式を適用し、経験的分布誤差を制御。高確率での集中結果を導出。

実験結果

リサーチクエスチョン

• RQ1 非同期Q学習のサンプル複雑性の上限として、マーケフ過程に従う単一の軌道上で達成可能な最もタイトな境界は何か？
• RQ2 混合時間 $t_{\text{mix}}$ と最小占有確率 $\mu_{\text{min}}$ は、非同期Q学習の収束にどのように影響を与えるか？
• RQ3 分散低減技術を用いることで、非同期Q学習における有効ホライズン $1/(1-\gamma)$ への依存性を改善できるか？
• RQ4 非同期Q学習のサンプル複雑性は、i.i.d.サンプルを用いる同期的Q学習と比べてどの程度か？
• RQ5 マーケフ過程における初期バーニング段階の役割は何か？そして、時間経過とともにそのコストをどのように均等化できるか？

主な発見

• 古典的非同期Q学習のサンプル複雑性は、対数的要因を除き $O\left(\frac{1}{\mu_{\text{min}}(1-\gamma)^5\varepsilon^2} + \frac{t_{\text{mix}}}{\mu_{\text{min}}(1-\gamma)}\right)$ で抑えられる。
• 最初の項は、定常分布からのi.i.d.サンプルを用いた同期的Q学習のサンプル複雑性と一致する。
• 2番目の項は初期の非定常性のコストを捉えており、経験的分布の収束に伴い時間経過で均等化される。
• QuとWierman (2020) より、すべての状況で少なくとも $|\mathcal{S}||\mathcal{A}|$ の改善が達成され、$\varepsilon$ が小さい場合には $t_{\text{mix}}|\mathcal{S}||\mathcal{A}|$ の改善が得られる。
• 分散低減により、$1/(1-\gamma)$ へのスケーリングが改善され、有効ホライズンへの依存性がタイトに保たれる。
• マーケフ連鎖の経験的分布に関する高確率集中不等式を用い、推定誤差を制御。各状態行動ペアの訪問回数 $K_N(s,a)$ への明示的依存を含む。