[論文レビュー] Momentum Q-learning with Finite-Sample Convergence Guarantee

Bowen Weng, Huaqing Xiong+3 more|arXiv (Cornell University)|Jul 30, 2020

Target Tracking and Data Fusion in Sensor Networks参考文献 36被引用数 8

ひとこと要約

本稿では、収束を加速するためにネステロフおよびポリャクのモーメンタムスキームを統合した、新しいQ学習アルゴリズムMomentumQを提案する。線形関数近似を用いたモーメンタムベースのQ学習に対して、初めての有限標本収束保証を提供し、通常のQ学習よりも明確に速い収束速度を理論的に示した。また、特定のステップサイズの下で、表形式（tabular）設定においてSpeedyQよりもわずかに優れた収束速度を達成した。

ABSTRACT

Existing studies indicate that momentum ideas in conventional optimization can be used to improve the performance of Q-learning algorithms. However, the finite-sample analysis for momentum-based Q-learning algorithms is only available for the tabular case without function approximations. This paper analyzes a class of momentum-based Q-learning algorithms with finite-sample guarantee. Specifically, we propose the MomentumQ algorithm, which integrates the Nesterov's and Polyak's momentum schemes, and generalizes the existing momentum-based Q-learning algorithms. For the infinite state-action space case, we establish the convergence guarantee for MomentumQ with linear function approximations and Markovian sampling. In particular, we characterize the finite-sample convergence rate which is provably faster than the vanilla Q-learning. This is the first finite-sample analysis for momentum-based Q-learning algorithms with function approximations. For the tabular case under synchronous sampling, we also obtain a finite-sample convergence rate that is slightly better than the SpeedyQ \citep{azar2011speedy} when choosing a special family of step sizes. Finally, we demonstrate through various experiments that the proposed MomentumQ outperforms other momentum-based Q-learning algorithms.

研究の動機と目的

• 関数近似を用いたモーメンタムベースのQ学習に対して、有限標本収束解析が不足している問題に対処する。
• ネステロフのモーメンタムとポリャクのモーメンタムを統合した、統一的なモーメンタムフレームワークを構築し、Q学習の収束を改善する。
• 線形関数近似および表形式設定の両方において、MomentumQの理論的有限標本収束レートを確立する。
• MomentumQが、通常のQ学習および既存のモーメンタムベースのアルゴリズムを常に上回ることを実験的に示す。

提案手法

• 履歴に基づく更新ルールを用いて、ネステロフおよびポリャクのモーメンタムスキームを統合したQ学習の変種であるMomentumQを提案する。
• モーメンタム項の追加による複雑性に対処するための新しい解析フレームワークを導入する。
• ベルマン作用素の収縮性とHoeffding-Azuma不等式を用いて、推定誤差をバインドする。
• 最大Hoeffding-Azuma不等式を適用し、時間経過に伴う確率的誤差の最大偏差を制御する。
• 収縮性および誤差分解の補題を再帰的に適用することで、有限標本バウンドを導出する。
• モーメンタム更新の構造を活用することで、通常のQ学習よりも速い収束速度を達成する。

実験結果

リサーチクエスチョン

• RQ1 線形関数近似を用いたモーメンタムベースのQ学習は、有限標本収束保証を達成できるか？
• RQ2 表形式および関数近似設定の両方において、MomentumQの収束速度は通常のQ学習およびSpeedyQと比べてどのように異なるか？
• RQ3 関数近似を伴うモーメンタムベースのQ学習の解析において生じる技術的課題は何か。それらはどのように克服できるか？
• RQ4 提案されたMomentumQアルゴリズムは、実際の応用において、既存のモーメンタムベースのQ学習手法を一貫して上回るか？
• RQ5 モーメンタムパラメータおよびステップサイズの選定が、アルゴリズムの収束速度および安定性に与える影響は何か？

主な発見

• MomentumQは、線形関数近似およびマルコフ連鎖サンプリングを用いた場合、通常のQ学習よりも明確に速い有限標本収束速度を達成する。
• 同期的サンプリングの下での表形式設定において、特定のステップサイズの族を用いる場合、MomentumQはSpeedyQよりもわずかに優れた有限標本収束速度を達成する。
• 理論的解析により、関数近似を伴うモーメンタムベースのQ学習に対して、初めての有限標本収束保証を確立した。
• MomentumQの有限標本バウンドは$ O(1/T) $のスケーリングを示し、モーメンタム統合のおかげで定数因子が改善されている。
• 実験結果から、MomentumQは表形式および関数近似環境の両方において、通常のQ学習および他のモーメンタムベースのQ学習アルゴリズムを一貫して上回ることが示された。
• アルゴリズムの性能向上は、ネステロフおよびポリャクのモーメンタムの効果的な組み合わせにより、振動を低減し収束を加速していることに起因する。