[論文レビュー] Efficient Deep Reinforcement Learning Requires Regulating Overfitting

Qiyang Li, Aviral Kumar+2 more|arXiv (Cornell University)|Apr 20, 2023

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

著者らは、高い更新データ比におけるデータ効率の良い深層強化学習の主なボトルネックが高い検証TD誤差であることを示し、正則化項の中から最適なものを選ぶオンラインモデル選択手法AVTDを導入して検証TD誤差を最小化することで改善を図り、GymおよびDMCタスク全体で性能を向上させている。

ABSTRACT

Deep reinforcement learning algorithms that learn policies by trial-and-error must learn from limited amounts of data collected by actively interacting with the environment. While many prior works have shown that proper regularization techniques are crucial for enabling data-efficient RL, a general understanding of the bottlenecks in data-efficient RL has remained unclear. Consequently, it has been difficult to devise a universal technique that works well across all domains. In this paper, we attempt to understand the primary bottleneck in sample-efficient deep RL by examining several potential hypotheses such as non-stationarity, excessive action distribution shift, and overfitting. We perform thorough empirical analysis on state-based DeepMind control suite (DMC) tasks in a controlled and systematic way to show that high temporal-difference (TD) error on the validation set of transitions is the main culprit that severely affects the performance of deep RL algorithms, and prior methods that lead to good performance do in fact, control the validation TD error to be low. This observation gives us a robust principle for making deep RL efficient: we can hill-climb on the validation TD error by utilizing any form of regularization techniques from supervised learning. We show that a simple online model selection method that targets the validation TD error is effective across state-based DMC and Gym tasks.

研究の動機と目的

• サンプル効率の高い深層RLを制限する主なボトルネックを特定する。
• 不安定性、分布シフト、過学習などが性能低下の説明となるかを評価する。
• 検証TD誤差を通じて過学習を規制する principled な方法を提案・検証する。
• オンラインのモデル選択スキーム（AVTD）を開発し、正則化の選択を自動化して検証TD誤差を最小化する。

提案手法

• 更新-to-data比が高い状態での故障源を診断するため、DeepMind Control Suiteの状態ベースおよびGymタスクで経験的分析を行う。
• さまざまな仮説の下で、訓練TD誤差と検証TD誤差、Qギャップ、およびQ値推定バイアスを測定・比較する。
• 複数の正則化手法（Dropout、Weight Decay、スペクトル正規化、周期的リセット、DroQ系）を評価し、検証TD誤差への影響を検討する。
• AVTDを提案し、共有リプレイバッファ上で異なる正則化を適用して学習させ、検証TD誤差が最も小さいエージェントを選択して行動させる。
• GymおよびDMCタスクで、レイヤー正規化（LayerNorm）、LayerNorm+WD、WD、DroQ系などの正則化を組み合わせてAVTDをデモンストレーションする。

実験結果

リサーチクエスチョン

• RQ1 高い更新-to-data比でデータ効率の良い深層RLを制限する主なボトルネックは何か。
• RQ2 高UTD下でデータ収集品質、分布シフト、非定常性、過学習のどれが性能不良を説明するか。
• RQ3 正則化を通じて検証TD誤差を制御することで、さまざまなタスクでサンプル効率を改善できるか。
• RQ4 検証TD誤差に基づくオンラインモデル選択手法（AVTD）は、オンラインで効果的な正則化を信頼性高く選択できるか。

主な発見

• トレーニング初期段階での高い検証TD誤差は、更新-to-data比が高い状況で最終的な性能を悪化させることと相関する。
• 検証TD誤差はDMCおよびGymタスクにおけるデータ効率の RL 敗因を診断するうえで頑健な指標である。
• 多くの正則化手法は、問題を universal に解決するのではなく、主に検証TD誤差を低減することによって性能を向上させている。
• 検証TD誤差に基づいて複数の正則化を選択するAVTDは、多くの場合、最良の単一正則化と同等かそれを上回り、タスク間のロバスト性を向上させる。
• 検証TD誤差を選択信号として用いると、訓練TD誤差やQギャップに基づく代替手法よりもオンラインモデル選択が優れる。