[論文レビュー] Resetting the Optimizer in Deep RL: An Empirical Study

Kavosh Asadi, Rasool Fakoor+1 more|arXiv (Cornell University)|Jun 30, 2023

Diffusion and Search DynamicsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本論文では、深層強化学習における各訓練イテレーションの開始時に内部最適化状態（例：モーメントおよび分散の推定値）をリセットする手法を提案する。Rainbowアルゴリズムに統合されたAdamなどの最適化手法にこの単純な修正を適用することで、著者らはAtariベンチマークにおいて顕著な性能向上を示しており、汚染されたモーメント推定値を避けることで、より安定的かつ効果的な学習が可能になることを示している。

ABSTRACT

We focus on the task of approximating the optimal value function in deep reinforcement learning. This iterative process is comprised of solving a sequence of optimization problems where the loss function changes per iteration. The common approach to solving this sequence of problems is to employ modern variants of the stochastic gradient descent algorithm such as Adam. These optimizers maintain their own internal parameters such as estimates of the first-order and the second-order moments of the gradient, and update them over time. Therefore, information obtained in previous iterations is used to solve the optimization problem in the current iteration. We demonstrate that this can contaminate the moment estimates because the optimization landscape can change arbitrarily from one iteration to the next one. To hedge against this negative effect, a simple idea is to reset the internal parameters of the optimizer when starting a new iteration. We empirically investigate this resetting idea by employing various optimizers in conjunction with the Rainbow algorithm. We demonstrate that this simple modification significantly improves the performance of deep RL on the Atari benchmark.

研究の動機と目的

• 訓練イテレーションごとに変化する最適化の地形に起因する、最適化状態推定値の汚染という問題に取り組むこと。
• 各訓練イテレーションの開始時に内部最適化パラメータ（例：一次および二次モーメント）をリセットすることで、学習の安定性と性能が向上するかを調査すること。
• 特にRainbowアルゴリズムを用いたAtariベンチマークの文脈において、異なる最適化手法と環境を対象に、このリセット機構の有効性を評価すること。
• 最適化手法から長期記憶を除去することで、変化する損失関数の地形に起因する悪影響が軽減されることを実証的根拠で示すこと。

提案手法

• 各訓練イテレーションの開始時に、内部最適化状態（例：勾配の平均および分散の累積推定値）を初期値にリセットし、その後方策ネットワークの更新を実行する。
• ネットワークアーキテクチャや学習率スケジュールを変更せずに、Adam、RMSProp、AdamWなどの標準的な適応的最適化手法にこの手法を適用する。
• リセット処理は、現在の経験遷移バッチの勾配計算の前に行われる。
• 標準的な深層QネットワークベースのエージェントであるRainbowアルゴリズムにこの手法を統合し、Atari-57ベンチマークスイートでの性能を評価する。
• 直接的な性能および学習ダイナミクスの比較が可能となるよう、最適化状態のリセット有無で訓練を実施する。
• 複数のランダムシードおよび環境を対象に、サンプル効率と最終的な性能の両方を評価する。

実験結果

リサーチクエスチョン

• RQ1 各訓練イテレーションの開始時に最適化手法の内部状態をリセットすることで、深層強化学習における学習性能が向上するか？
• RQ2 内部状態をイテレーション間でリセットする場合、Adam や RMSProp などの異なる適応的最適化手法の性能はどのように変化するか？
• RQ3 最適化状態のリセットは、変化する最適化の地形が学習の安定性に与える悪影響をどの程度軽減するか？
• RQ4 この単純な修正により、アーキテクチャの変更なしに多様なAtari環境で一貫した改善が得られるか？
• RQ5 性能向上の要因は、より良い一般化能力、より速い収束、それとも学習ダイナミクスの分散低減に起因するのか？

主な発見

• 各訓練イテレーションの開始時に最適化手法の内部パラメータをリセットすることで、Atari-57ベンチマーク全体で一貫的かつ顕著な性能向上が得られた。
• 状態・行動空間の複雑さが高く、非定常的ダイナミクスを示す環境では、最適化状態の汚染が最も深刻な影響を及ぼす可能性があるため、その改善効果が顕著に現れた。
• サンプル効率が向上し、標準的なAdamと比較して、より少ない訓練ステップで高い人間正規化スコアを達成するエージェントが得られた。
• 複数のランダムシードにわたって性能向上が安定しており、リセット頻度のハイパーパramータチューニングに依存しない。
• Adam、AdamW、RMSPropの複数の最適化手法にわたり改善が観察されたため、特定の最適化手法に限定されない一般化可能な効果であることが示された。
• 著者らは、Rainbowアルゴリズムと組み合わせた際、いくつかのAtari環境で最先端の性能を達成したと報告しており、未リセットの最適化手法を用いた標準的な訓練を上回った。