[論文レビュー] Return-based Scaling: Yet Another Normalisation Trick for Deep RL

Tom Schaul, Georg Ostrovski+2 more|arXiv (Cornell University)|May 11, 2021

Reinforcement Learning in Robotics参考文献 33被引用数 7

ひとこと要約

この論文では、報酬と割引率から導出されるリターン統計を用いて時系列差分誤差を再スケーリングする、ハイパーパrameterフリーのシンプルな正規化手法であるリターンベーススケーリングを提案する。この手法は、異なる報酬スケールを持つ複数のタスクを共有ネットワークで学習する際の訓練安定性と性能を向上させる。誤差の大きさをさまざまな環境や学習段階で一致させることで、チューニングや適応処理を必要とせず、学習の支配的要因となる高振幅誤差の影響を抑える。

ABSTRACT

Scaling issues are mundane yet irritating for practitioners of reinforcement learning. Error scales vary across domains, tasks, and stages of learning; sometimes by many orders of magnitude. This can be detrimental to learning speed and stability, create interference between learning tasks, and necessitate substantial tuning. We revisit this topic for agents based on temporal-difference learning, sketch out some desiderata and investigate scenarios where simple fixes fall short. The mechanism we propose requires neither tuning, clipping, nor adaptation. We validate its effectiveness and robustness on the suite of Atari games. Our scaling method turns out to be particularly helpful at mitigating interference, when training a shared neural network on multiple targets that differ in reward scale or discounting.

研究の動機と目的

• 変動する誤差スケールが深層強化学習の訓練安定性を損ない、広範なハイパーパrameterチューニングを要するという、長年の課題に対処すること。
• 異なる報酬スケールを持つ複数の目的を同時に学習する際でも、多様な環境、タスク、学習段階にわたって安定した正規化手法を構築すること。
• ハイパーパrameter、クリッピング、適応処理を一切必要とせず、既存のアルゴリズムやアーキテクチャと互換性を持つ手法を提案すること。
• 特に価値関数のリターンスケールが著しく異なる場合に、多目的学習のバランスを取る有効性を検証すること。

提案手法

• 報酬分布と割引率から導出されるリターンの分散に基づいてスケール要因を計算し、TD誤差を正規化する。
• 公式 $\sigma^2 = \mathbb{V}[R] + \gamma^2 \mathbb{V}[G]$ を用い、$\mathbb{V}[R]$ を報酬の分散、$\mathbb{V}[G]$ をリターンの分散として、TD誤差の自然なスケールを推定する。
• スケール要因を適用してTD誤差を一貫した、最適化に適した範囲に再スケーリングし、学習ダイナミクスが高振幅誤差に支配されないよう保証する。
• アルゴリズムに依存しないアプローチであり、エージェント内部の情報を必要としないため、既存の深層強化学習パイプラインに容易に統合できる。
• 報酬クリッピング、勾配クリッピング、適応的重み付けといった手法の一般的な欠陥を回避し、学習者側のダイナミクスではなく問題側の統計に依存する。
• 特に、異なる報酬スケールを持つ複数のヘッドや目的を同時に学習する際、自然に寄与をバランスさせる点で特に有効である。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパrameterの追加や訓練中の適応処理を一切行わず、深層強化学習におけるTD誤差を正規化する方法は何か？
• RQ2 報酬スケールが著しく異なる環境に適用された際、従来の正規化戦略（例：クリッピング、報酬変換）の主な失敗モードは何か？
• RQ3 リターン統計に基づく正規化手法が、報酬スケールやエピソード長が異なる多様なAtariゲームにおいて、訓練の安定性と性能を向上させられるか？
• RQ4 誤差の大きさが著しく異なる複数の目的を学習する際、リターンベーススケーリングはマルチヘッド学習にどのような影響を与えるか？
• RQ5 共有ニューラルネットワークアーキテクチャにおいて、複数の学習目的間の干渉をどの程度低減できるか？

主な発見

• リターンベーススケーリングは、Atariゲーム全体でTD誤差の大きさの範囲を最大で10桁も縮小し、一貫した学習可能な範囲に収束させる。
• 特に異なる報酬スケールや割引率を持つ複数のターゲットを共有ネットワークで学習する状況において、訓練の安定性と性能が顕著に向上する。
• Atariスイート全体において、R2D2エージェントの性能が著しく向上し、リターン分散が大きく、報酬スケーリングが極端な環境で顕著な恩恵をもたらす。
• 価値損失と補助損失の成分のバランスが改善され、マルチ損失学習における手動による係数チューニングの必要性が低減される。
• 予備的な結果では、期待リターンに基づく価値バイアス初期化と組み合わせることで、学習が加速し、Skiingで20億フレーム未満で人間水準のパフォーマンスに到達することが示唆された。
• 計算コストの増加は最小限で、追加のハイパーパrameterも不要であり、さまざまな訓練段階や環境に対して高いロバスト性を示す。