[논문 리뷰] Natural Gradient Deep Q-learning

Ethan Knight, Osher Lerner|arXiv (Cornell University)|2018. 03. 20.

Neural Networks and Applications참고 문헌 17인용 수 5

한 줄 요약

이 논문은 타겟 네트워크가 필요 없이 학습을 안정화하고 샘플 효율성을 향상시키는 자연 기울기 기반 딥 Q-러닝 알고리즘인 NGDQN을 제안한다. 피셔 정보 행렬을 활용해 매개변수 갱신을 적응적으로 스케일 조정함으로써, NGDQN은 표준 DQN보다 더 빠른 수렴 속도와 향상된 성능을 달성하며, 일부 경우에서는 타겟 네트워크를 사용하는 DQN을 능가한다.

ABSTRACT

We present a novel algorithm to train a deep Q-learning agent using natural-gradient techniques. We compare the original deep Q-network (DQN) algorithm to its natural-gradient counterpart, which we refer to as NGDQN, on a collection of classic control domains. Without employing target networks, NGDQN significantly outperforms DQN without target networks, and performs no worse than DQN with target networks, suggesting that NGDQN stabilizes training and can help reduce the need for additional hyperparameter tuning. We also find that NGDQN is less sensitive to hyperparameter optimization relative to DQN. Together these results suggest that natural-gradient techniques can improve value-function optimization in deep reinforcement learning.

연구 동기 및 목표

• 비선형 함수 근사기와 함께 학습 중 발생하는 안정성 문제와 하이퍼파라미터 민감도를 해결하기 위해.
• 자연 기울기 방법이 딥 강화학습에서 가치 함수 최적화를 안정화할 수 있는지 조사하기 위해.
• 자연 기울기 방법이 DQN에서 보조 구성 요소(예: 타겟 네트워크)의 필요성을 줄이거나 제거할 수 있는지 확인하기 위해.
• 다양한 하이퍼파라미터 설정 하에서, 예를 들어 CartPole와 LunarLander를 포함한 다양한 제어 작업에서 NGDQN의 성능을 평가하기 위해.
• 정확한 역행렬 역산 대비 근사 FIM 역행렬 역산 방법(예: MinRes-QLP, 선형 CG)의 계산 비용과 최적화 품질 측면에서의 효과성을 비교하기 위해.

제안 방법

• 표준 적응형 기울기 방법(예: Adam) 대신 자연 기울기 하강법을 사용하여 Q-네트워크 매개변수를 최적화하는 딥 Q-러닝 에이전트인 NGDQN을 제안한다.
• 곡률 인식 매개변수 갱신을 위해 피셔 정보 행렬(FIM)을 사용하며, 재매개변수화에 대해 불변이며 데이터 재정렬에 더 안정적인 특성을 가진다.
• 정확한 역행렬 역산에 비해 계산 비용을 줄이기 위해 근사 FIM 역행렬 기법(예: MinRes-QLP, 선형 코니지드 기울기(CG)))을 사용한다.
• 표준 DQN과 동일하게 경험 재생과 보상 클리핑을 적용하지만, 학습 안정성을 향상시키기 위해 표준 최적화기 대신 자연 기울기 갱신을 사용한다.
• 과적합을 방지하기 위해 FIM 역행렬 과정에 덤핑을 도입하며, 일반적으로 가장 큰 고유값의 5%에서 10% 범위의 덤핑 인자를 사용한다.
• OpenAI Gym 환경(예: CartPole, LunarLander, Acrobot)에서 NGDQN을 학습하고, 타겟 네트워크 유무에 관계없이 기준 DQN과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 타겟 네트워크 없이 자연 기울기 최적화가 딥 Q-러닝 학습을 안정화시킬 수 있는가?
• RQ2 다양한 제어 환경에서 NGDQN의 성능은 타겟 네트워크 유무에 관계없이 표준 DQN과 비교해 어떻게 되는가?
• RQ3 NGDQN은 표준 DQN 대비 하이퍼파라미터 튜닝에 얼마나 민감한가?
• RQ4 근사 FIM 역행렬 기법(MinRes-QLP, 선형 CG)은 진정한 자연 기울기 갱신을 얼마나 정확하게 근사하는가?
• RQ5 자연 기울기 최적화가 연속 제어 작업에 대한 딥 Q-러닝의 샘플 효율성과 수렴 속도를 향상시키는가?

주요 결과

• 모든 테스트 환경에서 NGDQN은 타겟 네트워크 없이 DQN을 능가하며, 더 높은 평균 수익과 더 빠른 수렴 속도를 달성한다.
• NGDQN은 타겟 네트워크를 사용하는 DQN과 비교해 성능이 떨어지지 않으며, 자연 기울기가 타겟 네트워크의 안정화 역할을 대체할 수 있음을 시사한다.
• 표준 DQN 대비 NGDQN은 하이퍼파라미터 튜닝에 훨씬 덜 민감하며, 다양한 설정에서 더 높은 강건성을 보인다.
• 근사 FIM 역행렬 기법(MinRes-QLP 및 선형 CG)은 정확한 역행렬과 유사한 방향의 매개변수 갱신을 생성하며, 약간 더 작은 크기를 가지며, 이는 그 유효성을 확인한다.
• FIM 역행렬 과정에서의 덤핑 인자는 일반적으로 가장 큰 고유값의 5%에서 10% 범위에 위치하며, 안정성과 정확성 사이의 균형 잡힌 조합을 나타낸다.
• 근사 FIM 역행렬의 계산 시간은 정확한 역행렬에 비해 상당히 낮아, NGDQN이 실세계 RL 응용에 확장 가능한 것으로 나타났다.