[論文レビュー] Finite-Time Analysis of Asynchronous Stochastic Approximation and $Q$-Learning

Guannan Qu, Adam Wierman|arXiv (Cornell University)|Feb 1, 2020

Stochastic Gradient Optimization Techniques参考文献 27被引用数 24

ひとこと要約

本稿は、重み付き無限大ノルムの収縮作用素を伴う非同期確率的近似（SA）について、有限時間収束解析を提示し、収束速度が O(1/((1−γ)^1.5√T)) であることを確立している。この結果を非同期 Q-学習に応用することで、1/(1−γ) の指数的増大を回避するスケーリング線形ステップサイズを用いることで、従来の非同期境界よりも改善されたタイトな ˜O(1/((1−γ)^5ε²)) の収束時間が得られ、同期 Q-学習の既知で最も鋭い境界と一致する。

ABSTRACT

We consider a general asynchronous Stochastic Approximation (SA) scheme featuring a weighted infinity-norm contractive operator, and prove a bound on its finite-time convergence rate on a single trajectory. Additionally, we specialize the result to asynchronous $Q$-learning. The resulting bound matches the sharpest available bound for synchronous $Q$-learning, and improves over previous known bounds for asynchronous $Q$-learning.

研究の動機と目的

• 実用的強化学習応用において極めて重要な、非同期 Q-学習の有限時間収束境界の欠如に対処すること。
• Q-学習で用いられる非線形かつ無限大ノルム収縮作用素に適用できない、従来のODEベースのSA解析の限界を克服すること。
• 既存の同期的またはエポックベースの解析よりも、重み付き無限大ノルム収縮を伴う非同期 SA の有限時間収束速度をより鋭くすること。
• 従来の非同期 Q-学習解析で観察された 1/(1−γ) の指数的増大現象を明確にし、解消すること。
• エポックベースの手法と比較して、確率的ノイズの影響をより良く分離できる、新しい再帰的誤差分解技術の開発

提案手法

• 本稿は、近似誤差をノイズとバイアスに起因する成分に分離する再帰的誤差分解フレームワークを導入し、確率的フラクチュエーションのより緊密な制御を可能にする。
• 誤差を再帰的に分解し、スケーリング線形ステップサイズ αk = h/(k + t0) を用いることで、先行研究で見られた 1/(1−γ) への指数的依存を回避する。
• 主な技術的ツールとして、非同期更新における非マルコフ的性質を持つノイズ項を扱うために、アズマ＝ホイーディング不等式の新規応用を含む。
• 誤差伝播の時間的減衰を制御するために、形式 ∏(1−αℓdℓ,i) の積に関するバウンドを活用する。
• ノイズ項の確率的積を決定的量で上界で抑えられる新しい補題（補題14）を導出。これにより、集中不等式の適用が可能になる。
• 時間ステップにおける帰納法を用い、収縮作用素、ノイズ、バイアス項のバウンドを組み合わせて、最終的な収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 重み付き無限大ノルム収縮作用素を伴う非同期確率的近似の有限時間収束速度は何か？
• RQ2 非同期 Q-学習の収束速度は、ε、1/(1−γ)、および状態行動空間サイズに依存して、同期 Q-学習と比べてどのように異なるか？
• RQ3 従来の非同期 Q-学習解析で観察された 1/(1−γ) の指数的増大は回避可能か？もし可能であれば、どのような条件下で可能か？
• RQ4 非同期性が Q-学習の収束に与える影響は何か？有限時間内にどのようにモデル化され、バウンドされるべきか？
• RQ5 再帰的誤差分解アプローチは、エポックベースの解析と比較して、非同期設定においてより鋭いバウンドをもたらすか？

主な発見

• 本稿は、重み付き無限大ノルム収縮作用素を伴う非同期 SA に対して、有限時間収束速度 O(1/((1−γ)^1.5√T)) を確立した。
• 非同期 Q-学習において、収束時間は ˜O(1/((1−γ)^5ε²)) であり、同期 Q-学習の既知で最も鋭い境界と一致する。
• 解析により、スケーリング線形ステップサイズ αk = h/(k + t0) を用いることで、1/(1−γ) の指数的増大が誤差バウンドに及ばないことが示された。
• 提案された再帰的誤差分解技術により、エポックベースの手法と比較してより鋭いバウンドが得られ、確率的ノイズの影響がより良く分離された。
• 従来の非同期 Q-学習の境界を改善し、1/(1−γ) への指数的依存を排除するとともに、ε および状態空間の依存性を鋭くした。
• バウンド内の数値定数が与えられた仮定のもとでタイトであることが示され、収縮係数 γ とステップサイズスケーリングの役割が明確に制御された。