[논문 리뷰] NROWAN-DQN: A Stable Noisy Network with Noise Reduction and Online Weight Adjustment for Exploration

Shuai Han, Wenbo Zhou외 2명|arXiv (Cornell University)|2020. 06. 19.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 노이즈 네트워크를 위한 유연한 노이즈 감소 메커니즘과 온라인 가중치 조정을 도입함으로써 타깃 강화학습에서 탐색 안정성을 향상시키는 새로운 DQN 알고리즘인 NROWAN-DQN을 제안한다. 결정적이고 학습 가능한 인자에 의해 노이즈 감쇠를 가속화함으로써 NROWAN-DQN은 더 높은 샘플 효율성, 향상된 성능, 그리고 특히 행동 민감한 환경에서 상당히 감소된 점수 분산을 달성한다. 다양한 환경에서 DQN과 NoisyNet-DQN을 모두 능가한다.

ABSTRACT

Deep reinforcement learning has been applied more and more widely nowadays, especially in various complex control tasks. Effective exploration for noisy networks is one of the most important issues in deep reinforcement learning. Noisy networks tend to produce stable outputs for agents. However, this tendency is not always enough to find a stable policy for an agent, which decreases efficiency and stability during the learning process. Based on NoisyNets, this paper proposes an algorithm called NROWAN-DQN, i.e., Noise Reduction and Online Weight Adjustment NoisyNet-DQN. Firstly, we develop a novel noise reduction method for NoisyNet-DQN to make the agent perform stable actions. Secondly, we design an online weight adjustment strategy for noise reduction, which improves stable performance and gets higher scores for the agent. Finally, we evaluate this algorithm in four standard domains and analyze properties of hyper-parameters. Our results show that NROWAN-DQN outperforms prior algorithms in all these domains. In addition, NROWAN-DQN also shows better stability. The variance of the NROWAN-DQN score is significantly reduced, especially in some action-sensitive environments. This means that in some environments where high stability is required, NROWAN-DQN will be more appropriate than NoisyNets-DQN.

연구 동기 및 목표

• 학습 중에 노이즈 감쇠가 부족하고 느려서 NoisyNet-DQN의 안정성과 수렴 속도가 떨어지는 문제를 해결하기 위해.
• 특히 고차원 및 행동 민감한 환경에서 탐색 효율성과 정책 안정성을 향상시키기 위해.
• 노이즈 감소를 가속화하면서도 효과적인 탐색을 유지할 수 있는 유연하고 학습 가능한 메커니즘을 설계하기 위해.
• 학습률과의 상호작용을 고려한 새로운 하이퍼파라미터 $k_{\text{final}}$를 통해 탐색과 이용의 균형을 최적화하기 위해.

제안 방법

• NoisyNets 내 노이즈 파라미터 ($\sigma$)의 감쇠를 가속화하기 위해 손실 함수를 수정하는 유연한 노이즈 감소 메커니즘을 도입한다.
• 노이즈 감소 및 정책 학습 방향의 파라미터 업데이트 비율을 동적으로 제어하는 온라인 가중치 조정 전략을 제안한다.
• 최종 노이즈 감소 인자의 크기를 조절하기 위해 새로운 하이퍼파라미터 $k_{\text{final}}$를 통합하여 탐색-이용 균형의 적응적 제어를 가능하게 한다.
• TD 오차 기울기와 노이즈 감소 기울기를 조합한 수정된 손실 함수를 유도하며, 학습 과정에서 변화하는 학습 가능한 스케일링 인자 $k$를 포함한다.
• 노이즈 감소와 정책 학습의 두 목표에서 유도된 기울기를 가중치를 두어 균형을 이루는 하이브리드 업데이트 규칙을 구현한다.
• 하이퍼파라미터 분석과 아블레이션 스터디를 통해 저차원 및 고차원 환경(CartPole, Pong 등)에서 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 제안된 노이즈 감소 메커니즘이 NoisyNet-DQN의 탐색 안정성과 수렴 속도에 어떤 영향을 미치는가?
• RQ2 다양한 환경에서 탐색과 이용을 균형 잡는 데 최적인 새로운 하이퍼파라미터 $k_{\text{final}}$의 최적 값은 무엇인가?
• RQ3 학습률과의 상호작용이 $k_{\text{final}}$가 학습 동역학과 최종 성능에 미치는 영향는 어떠한가?
• RQ4 행동 민감한 환경에서 NROWAN-DQN이 DQN과 NoisyNet-DQN을 어떻게 능가하는가? 점수, 분산, 안정성 측면에서 설명하라.
• RQ5 다양한 DQN 학습에 효과적으로 통합될 수 있는 유연한 노이즈 감소 메커니즘은 정책 학습을 방해하지 않고 작동하는가?

주요 결과

• NROWAN-DQN은 CartPole 및 Pong를 포함한 모든 평가 환경에서 DQN과 NoisyNet-DQN보다 상당히 높은 평균 점수를 달성한다.
• 특히 행동 민감한 환경에서 에이전트 성능 점수의 분산이 크게 감소하여 뛰어난 안정성을 입증한다.
• 모든 학습률에서 $k_{\text{final}} = 4$일 때 가장 견고한 성능을 보이며, 이 값이 탐색과 이용의 균형을 맞추는 데 최적임을 시사한다.
• 너무 작은 $k_{\text{final}}$는 불안정성과 높은 분산을 유발하고, 너무 큰 $k_{\text{final}}$는 탐색을 감소시키며 학습 속도를 저하시킨다.
• Pong와 같은 고차원 환경에서 $k_{\text{final}} = 4$로 설정할 경우 강력한 학습 능력과 안정적인 성능을 유지하여 일반화 가능성도 확인된다.
• NoisyNet-DQN 대비 노이즈 감쇠 속도를 효과적으로 가속화하여, 탐색 품질을 훼손하지 않으면서 안정된 정책에 더 빨리 수렴함을 입증한다.