[논문 리뷰] Beyond Target Networks: Improving Deep Q-learning with Functional Regularization.

Alexandre Piché, Joseph Marino외 3명|arXiv (Cornell University)|2021. 06. 04.

Reinforcement Learning in Robotics참고 문헌 53인용 수 7

한 줄 요약

이 논문은 딥 Q-학습에서 타겟 네트워크의 대체로 기능적 정규화를 제안하며, 타겟을 계산할 때 최신 Q-네트워크 파라미터를 사용함으로써 안정성을 유지하면서도 훈련 속도를 높인다. 이 방법은 타겟 네트워크가 내재한 지연된 보상 전파 문제를 피함으로써 아타리 및 로봇 환경 전반에서 샘플 효율성과 성능을 향상시킨다.

ABSTRACT

Target networks are at the core of recent success in Reinforcement Learning. They stabilize the training by using old parameters to estimate the $Q$-values, but this also limits the propagation of newly-encountered rewards which could ultimately slow down the training. In this work, we propose an alternative training method based on functional regularization which does not have this deficiency. Unlike target networks, our method uses up-to-date parameters to estimate the target $Q$-values, thereby speeding up training while maintaining stability. Surprisingly, in some cases, we can show that target networks are a special, restricted type of functional regularizers. Using this approach, we show empirical improvements in sample efficiency and performance across a range of Atari and simulated robotics environments.

연구 동기 및 목표

• 딥 Q-학습에서 새로운 보상을 만나면 타겟 네트워크가 이를 전파하는 데 지연이 발생하는 문제를 해결하기 위해.
• 안정성을 유지하면서도 타겟 Q-값 추정에 최신 네트워크 파라미터를 사용하는 훈련 방법을 개발하기 위해.
• 타겟 네트워크가 기능적 정규화의 제한된 형태임을 밝혀내어 더 넓은 이론적 프레임워크를 제시하기 위해.
• 특히 아타리 및 시뮬레이션된 로봇 작업에서 딥 강화 학습 환경에서 샘플 효율성과 성능을 향상시키기 위해.

제안 방법

• 훈련 중에 Q-네트워크가 기준 함수에서 벗어나는 것을 방지하는 정규화 방법을 도입하여 타겟 네트워크를 대체한다.
• 최신 업데이트된 Q-네트워크 파라미터를 사용하여 타겟 Q-값을 계산함으로써 새로운 보상의 즉각적인 전파를 가능하게 한다.
• 손실 함수에 정규화 항을 도입하여 스무스하고 안정적인 업데이트를 유도한다.
• Q-함수의 기능적 형태를 제약함으로써 학습을 암묵적으로 안정화시켜 훈련 중 발산을 줄인다.
• 일정한 조건 하에서 정규화가 타겟 네트워크를 특수한 케이스로 일반화하고 있음을 입증한다.
• 구조적 변경 없이 딥 Q-네트워크에 종단 간(end-to-end)으로 적용되며, 표준 DQN 프레임워크와 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 기능적 정규화가 딥 Q-학습에서 타겟 네트워크를 대체하면서도 훈련 안정성을 유지할 수 있는가?
• RQ2 타겟 Q-값 추정에 최신 파라미터를 사용하면 더 빠른 학습과 향상된 샘플 효율성으로 이어지는가?
• RQ3 수렴 속도와 최종 성능 측면에서 기능적 정규화는 타겟 네트워크보다 어떻게 비교되는가?
• RQ4 타겟 네트워크는 기능적 정규화의 제한된 특수 케이스로(formally) 이해될 수 있는가?
• RQ5 제안된 방법은 아타리 및 시뮬레이션된 로봇 작업을 포함한 다양한 환경에서 일반화되는가?

주요 결과

• 기능적 정규화를 통해 최신 네트워크 파라미터를 타겟 Q-값 계산에 사용함으로써 타겟 네트워크가 내재한 지연을 피함으로써 더 빠른 훈련이 가능해진다.
• 다양한 아타리 환경에서 표준 DQN에 비해 훨씬 뛰어난 샘플 효율성을 달성한다.
• 실증 결과는 다양한 시뮬레이션된 로봇 작업에서 평가 지표와 학습 속도 모두에서 향상된 성능을 보여준다.
• 이론적 분석을 통해 타겟 네트워크가 기능적 정규화의 특수한 제약된 경우임을 밝혀냈다.
• 추가 하이퍼파라미터나 아키텍처 수정 없이도 훈련 안정성을 유지한다.
• 평가된 환경에서 기준 방법보다 더 빠른 수렴 속도와 더 나은 최종 성능을 달성한다.