[論文レビュー] Loss Dynamics of Temporal Difference Reinforcement Learning

Blake Bordelon, Paul Masset+2 more|arXiv (Cornell University)|Jul 10, 2023

stochastic dynamics and bifurcation被引用数 4

ひとこと要約

本論文は、線形関数近似を用いた時系列差分（TD）強化学習における学習ダイナミクスを分析する統計力学に基づく理論を開発する。特徴量の軌道を時間に相関を持つガウス分布としてモデル化することで、確率的セミ勾配ノイズによる価値誤差のプラトー形成を予測し、学習率、割引率、報酬形状化が収束速度とプラトーの深さに与える影響を示す。実践的なメタパラメータ最適化のためのフレームワークを提供する。

ABSTRACT

Reinforcement learning has been successful across several applications in which agents have to learn to act in environments with sparse feedback. However, despite this empirical success there is still a lack of theoretical understanding of how the parameters of reinforcement learning models and the features used to represent states interact to control the dynamics of learning. In this work, we use concepts from statistical physics, to study the typical case learning curves for temporal difference learning of a value function with linear function approximators. Our theory is derived under a Gaussian equivalence hypothesis where averages over the random trajectories are replaced with temporally correlated Gaussian feature averages and we validate our assumptions on small scale Markov Decision Processes. We find that the stochastic semi-gradient noise due to subsampling the space of possible episodes leads to significant plateaus in the value error, unlike in traditional gradient descent dynamics. We study how learning dynamics and plateaus depend on feature structure, learning rate, discount factor, and reward function. We then analyze how strategies like learning rate annealing and reward shaping can favorably alter learning dynamics and plateaus. To conclude, our work introduces new tools to open a new direction towards developing a theory of learning dynamics in reinforcement learning.

研究の動機と目的

• TD学習における線形関数近似を用いた学習ダイナミクスを理解するための理論的枠組みを構築すること。
• 標準的な勾配降下法に見られない、TD学習における価値誤差の性能プラトーの起源を解明すること。
• 特徴量構造、学習率、割引率、バッチサイズが収束速度とプラトー形成に与える影響を定量化すること。
• 学習曲線挙動の解析的予測を通じて、メタパラメータ設計を支援すること。
• 2次元グリッドワールドやMountainCar-v0などの実環境を用いた理論の妥当性を検証し、特徴量タイプにわたる頑健性を示すこと。

提案手法

• 理論はガウス的等価仮説を用い、確率的軌道平均を時間に相関を持つガウス的特徴量平均に置き換える。
• 統計力学における経路積分法を応用し、オンラインTD学習における典型的な学習曲線の解析的表現を導出する。
• 特徴量の共分散行列が時間に相関を持つと仮定し、時間経過に伴う期待価値誤差の閉形式表現を導出する。
• タスク-特徴量整合性を重要な指標として導入し、特定のタスクに対して特徴量がどれほど高速な学習を支援するかを定量化する。
• 導出された式 $\mathcal{L}_{n}\sim\left[(1-\eta)^{2}+\frac{\eta^{2}}{\alpha}\right]^{n}$ を用いて、学習率、バッチサイズ、割引率に伴う学習曲線スケーリングを予測可能にする。
• JAXを用いたGPU加速シミュレーションを用い、グリッドワールドMCPやMountainCar-v0環境において理論を数値的に検証する。

実験結果

リサーチクエスチョン

• RQ1 線形関数近似を用いたTD学習において、性能プラトーが生じる原因は何か？
• RQ2 学習率、割引率、バッチサイズは、学習プラトーの深さと持続時間にどのように影響するか？
• RQ3 統計力学フレームワークは、高次元的かつ非定常的RL設定における学習曲線ダイナミクスをどの程度正確に予測できるか？
• RQ4 タスク-特徴量整合性は、学習速度とプラトー形成にどのように影響するか？
• RQ5 理論は、最適な学習率の徐々に減少（アニーリング）戦略や報酬形状化戦略の設計を支援できるか？

主な発見

• 理論は合成環境および実環境（2次元グリッドワールド、MountainCar-v0）における学習曲線ダイナミクスを正確に予測する。
• 価値誤差のプラトーは、主にサブサンプリングされたエピソードに起因する確率的セミ勾配ノイズに起因するものであり、最適化の地形の曲率とは無関係である。
• 価値誤差は学習率に比例し、バッチサイズに反比例する。これは、10個のシードを用いたMountainCar-v0実験で確認された。
• 理論から導出された学習率のアニーリングスケジュールは、プラトーの持続期間を短縮し、収束を加速できる。
• 理論を用いることで、タスク-特徴量整合性を向上させ、学習時間を短縮する報酬形状化を最適化可能である。
• 本モデルの予測は、RBFプレイスセル、多項式特徴量、フーリエ特徴量を含む多様な特徴量タイプにわたり成立し、一般化可能性が裏付けられた。