[論文レビュー] Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning

Shuang Qiu, Zhuoran Yang+3 more|arXiv (Cornell University)|Aug 23, 2020

Stochastic Gradient Optimization Techniques参考文献 35被引用数 14

ひとこと要約

本稿では、非凸強凹最小最大化問題を解くことにより、smooth nonlinear TD学習のための2つのシングルタイムスケール・シングルループ確率的アルゴリズムを提案する。最初の手法はモーメンタムを用いて $O(\varepsilon^{-4})$ のサンプル複雑度を達成するが、2番目の手法はモーメンタムと分散低減を組み合わせることで、大規模バッチのチェックポイントを必要とせず、最適な $O(\varepsilon^{-3})$ のサンプル複雑度を達成する。

ABSTRACT

Temporal-Difference (TD) learning with nonlinear smooth function approximation for policy evaluation has achieved great success in modern reinforcement learning. It is shown that such a problem can be reformulated as a stochastic nonconvex-strongly-concave optimization problem, which is challenging as naive stochastic gradient descent-ascent algorithm suffers from slow convergence. Existing approaches for this problem are based on two-timescale or double-loop stochastic gradient algorithms, which may also require sampling large-batch data. However, in practice, a single-timescale single-loop stochastic algorithm is preferred due to its simplicity and also because its step-size is easier to tune. In this paper, we propose two single-timescale single-loop algorithms which require only one data point each step. Our first algorithm implements momentum updates on both primal and dual variables achieving an $O(\varepsilon^{-4})$ sample complexity, which shows the important role of momentum in obtaining a single-timescale algorithm. Our second algorithm improves upon the first one by applying variance reduction on top of momentum, which matches the best known $O(\varepsilon^{-3})$ sample complexity in existing works. Furthermore, our variance-reduction algorithm does not require a large-batch checkpoint. Moreover, our theoretical results for both algorithms are expressed in a tighter form of simultaneous primal and dual side convergence.

研究の動機と目的

• 確率的勾配降下・上昇法における非線形TD学習の収束遅さという課題に対処すること。
• 二時刻スケールまたは二重ループ手法の複雑さを回避するシングルタイムスケール・シングルループアルゴリズムの開発。
• 分散低減のための大規模バッチデータを必要としない最適なサンプル複雑度の達成。
• 同時にプライマルとデュアルの収束を測るよりタイトな収束解析の提供。
• シングルタイムスケール設定において、モーメンタムと分散低減の有効性の実証。

提案手法

• プライマル（θ）およびデュアル（ω）変数の両方にモーメンタムを適用するシングルタイムスケール手法を提案し、更新の安定化と収束の向上を図る。
• モーメンタムと確率的勾配推定を組み合わせた分散低減型バリエーションを導入し、ノイズ低減と収束加速を実現する。
• 理論的分析のための固定ステップサイズスケジュール ν_t = 1/[3(T+b)^{1/3}] を採用し、非漸近的条件下での収束を保証する。
• Fenchel双対性を用いて、一般化された平均二乗投影ベルヌーイ誤差（MSPBE）最小化問題を非凸強凹（NCSC）最小最大化問題に再定式化する。
• プライマルとデュアルの進行を同時に測るよりタイトな指標を用いた収束解析を実施し、その指標は期待値としてのプライマル劣化度、勾配誤差、デュアル不実行性の平均を定義する。
• Jensenの不等式と再帰的バウンディング技法を適用し、期待値の劣化度および不実行性に関する収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 非凸凹最小最大化問題において、モーメンタムはシングルタイムスケールアルゴリズムで効果的に活用可能か？
• RQ2 大規模バッチのチェックポイントを必要とせずに、分散低減をシングルタイムスケール・シングルループフレームワークに統合可能か？
• RQ3 smooth nonlinear TD学習のためのシングルタイムスケールアルゴリズムが達成可能な最適なサンプル複雑度は何か？
• RQ4 プライマルとデュアルの両方の進行を測る本稿の収束指標は、標準的なプライマルのみの指標と比べてどのように異なるか？
• RQ5 シングルタイムスケール設定において、理論的収束レートを $O(\varepsilon^{-4})$ から $O(\varepsilon^{-3})$ に改善可能か？

主な発見

• モーメンタムを用いたシングルタイムスケールアルゴリズムは $O(\varepsilon^{-4})$ のサンプル複雑度を達成し、単一時刻スケール収束を可能にするモーメンタムの重要性を示している。
• 分散低減型アルゴリズムは最適な $O(\varepsilon^{-3})$ のサンプル複雑度を達成し、既存の最高水準の結果と一致している。
• 分散低減型アルゴリズムは、チェックポイント用の大規模バッチデータを必要とせず、オンライン学習においてより実用的である。
• 収束解析がよりタイトであり、プライマルとデュアル変数の両方の進行を同時に測定しており、より包括的な収束保証を提供している。
• 理論的バウンディングにより、期待値の平均としてのプライマル劣化度、勾配誤差、デュアル不実行性の収束レートが $\widetilde{O}(T^{-1/3})$ であることが示された。
• 分析により、固定ステップサイズスケジュールが減少型スケジュールと同等の収束レートを達成可能であることが確認され、ハイパーパramータの調整が簡素化された。