[論文レビュー] Gradient Temporal-Difference Learning with Regularized Corrections

Sina Ghiassian, Andrew Patterson+4 more|arXiv (Cornell University)|Jul 1, 2020

Neural Networks and Applications被引用数 9

ひとこと要約

本論文は、正則化パラメータを調整することでTDとTDCを統合する新しい勾配TD法、TDRC（正則化補正を伴う時系列学習）を紹介する。TDがうまく機能する状況ではTDの性能を維持し、TDCと同様に収束を保証する。線形および非線形関数近似の両方の予測および制御タスクにおいて、安定性と性能の両面で優れた性能を発揮し、TDおよび標準的な勾配TD法を上回る。

ABSTRACT

It is still common to use Q-learning and temporal difference (TD) learning-even though they have divergence issues and sound Gradient TD alternatives exist-because divergence seems rare and they typically perform well. However, recent work with large neural network learning systems reveals that instability is more common than previously thought. Practitioners face a difficult dilemma: choose an easy to use and performant TD method, or a more complex algorithm that is more sound but harder to tune and all but unexplored with non-linear function approximation or control. In this paper, we introduce a new method called TD with Regularized Corrections (TDRC), that attempts to balance ease of use, soundness, and performance. It behaves as well as TD, when TD performs well, but is sound in cases where TD diverges. We empirically investigate TDRC across a range of problems, for both prediction and control, and for both linear and non-linear function approximation, and show, potentially for the first time, that gradient TD methods could be a better alternative to TD and Q-learning.

研究の動機と目的

• 強化学習における実用的ジレンマに対処すること：TD法は簡単で効果的だが発散する可能性がある。勾配TD法は理論的に整合性があるが、複雑でチューニングが難しい。
• TDがうまく機能する際の性能を引き継ぎつつ、TDCと同様に収束を保証する手法を開発すること。
• 正則化パラメータを介してTDとTDCの動作を滑らかに遷移できる1つのアルゴリズムを構築し、広範なハイパーパrameterチューニングの必要性を低減すること。
• 多様な環境、特に非線形関数近似および制御設定において、実験的に手法の有効性を検証すること。安定性と性能が重要な分野において有効である。

提案手法

• TDRCは、正則化パラメータβを導入し、β = 1のとき標準TD、β = 0のときTDCにそれぞれ対応させる。これにより、2つのアルゴリズム間の連続的遷移が可能になる。
• アルゴリズムは、TD誤差と正則化された勾配補正項を組み合わせた修正された更新ルールを用いる。βによって正則化され、学習の安定性が向上する。
• TDCと同様の2時刻スケール更新メカニズムを採用するが、補正項に正則化を施すことで、2番目の学習率への感受性が低下する。
• リャプノフ安定性解析に基づく理論的基盤を有し、行列Cが特異であっても、緩い条件下で収束を保証する。
• 正則化パラメータβは頑健であることが示された：1.0の値がすべての実験で良好な性能を発揮し、チューニングへの感受性が最小限に抑えられる。
• 非政策予測問題の鞍点定式化に基づいて導出されており、関数近似下でも収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 TDが安定する状況でTDの性能を再現しつつ、TDCと同様に収束を保証できる1つのアルゴリズムを設計できるか？
• RQ2 正則化パラメータβは、非政策時系列学習における安定性と性能のトレードオフにどのように影響を与えるか？
• RQ3 TDRCは、予測および制御の両タスクにおいて、線形および非線形関数近似の多様な問題で、TDおよびTDCを上回る性能を発揮するか？
• RQ4 TDRCは、特に正則化パラメータβのハイパーパrameter選択に対して、多様な環境で頑健であるか？
• RQ5 TDCやQ学習が一貫性のない性能を示す非線形制御設定において、TDRCは安定的かつ高性能な学習を達成できるか？

主な発見

• TDRCは、TDがうまく機能する状況ではTDと同等の性能を達成し、収束保証を維持する。
• TDRCは、線形および非線形関数近似の両方の問題において、TDCを含む他の勾配TD法を広く上回る性能を発揮する。
• 正則化パラメータβは頑健である：1.0の値がすべての実験で優れた性能を発揮し、チューニングへの感受性が最小限に抑えられる。
• 非線形関数近似を伴う制御タスクでは、TDRCはQ学習の性能を常に同等または上回るが、TDCは高い分散と不安定性を示す。
• TDRCはTDCに比べて優れた安定性を示す。TDCは特に非政策設定において、2番目の学習率に非常に感受しやすい。
• 学習率が導出された境界を満たしていれば、行列Cが特異であってもTDRCは収束を達成する。これにより、適用範囲が拡張される。