[論文レビュー] NROWAN-DQN: A Stable Noisy Network with Noise Reduction and Online Weight Adjustment for Exploration

Shuai Han, Wenbo Zhou+2 more|arXiv (Cornell University)|Jun 19, 2020

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、ノイズ除去機構とノイズネットのオンライン重み調整を導入することで、深層強化学習における探索の安定性を向上させる、新しいDQNアルゴリズムNROWAN-DQNを提案する。ノイズの減衰を決定論的で学習可能な要因によって加速させることで、NROWAN-DQNはより高いサンプル効率、向上した性能、顕著に低減されたスコアの分散を達成する——特にアクションに敏感な環境において顕著であり、複数の環境においてDQNおよびNoisyNet-DQNを上回る性能を発揮する。

ABSTRACT

Deep reinforcement learning has been applied more and more widely nowadays, especially in various complex control tasks. Effective exploration for noisy networks is one of the most important issues in deep reinforcement learning. Noisy networks tend to produce stable outputs for agents. However, this tendency is not always enough to find a stable policy for an agent, which decreases efficiency and stability during the learning process. Based on NoisyNets, this paper proposes an algorithm called NROWAN-DQN, i.e., Noise Reduction and Online Weight Adjustment NoisyNet-DQN. Firstly, we develop a novel noise reduction method for NoisyNet-DQN to make the agent perform stable actions. Secondly, we design an online weight adjustment strategy for noise reduction, which improves stable performance and gets higher scores for the agent. Finally, we evaluate this algorithm in four standard domains and analyze properties of hyper-parameters. Our results show that NROWAN-DQN outperforms prior algorithms in all these domains. In addition, NROWAN-DQN also shows better stability. The variance of the NROWAN-DQN score is significantly reduced, especially in some action-sensitive environments. This means that in some environments where high stability is required, NROWAN-DQN will be more appropriate than NoisyNets-DQN.

研究の動機と目的

• トレーニング中にノイズの減衰が不十分で遅いために生じるNoisyNet-DQNの不安定さと収束の遅さを解消すること。
• 特に高次元かつアクションに敏感な環境において、探索効率と方策の安定性を向上させること。
• 探索を効果的に行いながら、ノイズの減衰を加速できる微分可能で学習可能なメカニズムを設計すること。
• 新しいハイパーパramータ $k_{\text{final}}$ と学習率との相互作用を通じて、探索と活用のバランスを最適化すること。

提案手法

• NoisyNetsにおけるノイズパラメータ（$\sigma$）の減衰を加速するため、損失関数を変更する微分可能なノイズ低減機構を導入する。
• ノイズ低減と方策学習の両方の方向へのパラメータ更新の割合を動的に制御するオンライン重み調整戦略を提案する。
• 最終的なノイズ低減要因の大きさを制御する新しいハイパーパラメータ $k_{\text{final}}$ を組み込み、探索と活用のトレードオフを適応的に制御可能にする。
• TD誤差勾配とノイズ低減勾配を組み合わせた修正された損失関数を導出する。ここで、学習可能なスケーリング要因 $k$ がトレーニング中に変化する。
• ノイズ低減と方策学習の両方の目的からの勾配を重み付けすることで、両者のバランスを取るハイブリッド更新ルールを採用する。
• ハイパーパラメータ分析とアブレーションスタディを用いて、低次元および高次元環境（CartPole、Pongなど）で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 提案されたノイズ低減機構は、NoisyNet-DQNにおける探索の安定性と収束速度にどのように影響するか？
• RQ2 異なる環境において、探索と活用のバランスを最適化するための新しいハイパーパラメータ $k_{\text{final}}$ の最適値は何か？
• RQ3 $k_{\text{final}}$ と学習率の相互作用は、学習ダイナミクスと最終的な性能にどのように影響するか？
• RQ4 NROWAN-DQNは、アクションに敏感な環境において、スコア、分散、安定性の観点からDQNおよびNoisyNet-DQNをどのように上回るか？
• RQ5 微分可能なノイズ低減機構は、標準的なDQNトレーニングに効果的に統合可能であり、方策学習を損なわないか？

主な発見

• NROWAN-DQNは、CartPoleやPongを含むすべての評価環境で、DQNおよびNoisyNet-DQNよりも顕著に高い平均スコアを達成する。
• 特にアクションに敏感な環境において、エージェントのパフォーマンススコアの分散が著しく低減され、優れた安定性が示された。
• $k_{\text{final}} = 4$ の場合、さまざまな学習率に対して最も頑健な性能を示し、探索と活用のバランスを最適化するための最適値であると判明した。
• $k_{\text{final}}$ が小さすぎる場合は不安定さと高い分散が生じ、大きすぎる場合は探索が減少し、学習が遅くなる。
• 高次元環境（Pongなど）においても、 $k_{\text{final}} = 4$ に設定することで、強力な学習能力と安定したパフォーマンスを維持でき、一般化可能性が確認された。
• NoisyNet-DQNと比較して、ノイズの減衰が著しく加速されており、探索の質を損なわず、安定した方策への収束が速くなった。