[논문 리뷰] Deep Quality-Value (DQV) Learning

Matthia Sabatelli, Gilles Louppe외 2명|arXiv (Cornell University)|2018. 09. 30.

Reinforcement Learning in Robotics참고 문헌 26인용 수 6

한 줄 요약

이 논문은 시간차 학습을 통해 행동가치(Q) 네트워크의 훈련을 향상시키기 위해 가치 네트워크를 사용하는 새로운 딥 강화학습 알고리즘인 딥 품질-가치(DQV) 학습을 제안한다. DQV는 네 가지 아케이드 게임에서 훈련 속도가 빠르고 누적 보상이 더 높아 DQN과 더블 DQN을 능가하며, 펭귄 게임은 400 에피소드 이내에 해결되어 기준 방법보다 두 배 이상 빠르게 학습한다.

ABSTRACT

We introduce a novel Deep Reinforcement Learning (DRL) algorithm called Deep Quality-Value (DQV) Learning. DQV uses temporal-difference learning to train a Value neural network and uses this network for training a second Quality-value network that learns to estimate state-action values. We first test DQV's update rules with Multilayer Perceptrons as function approximators on two classic RL problems, and then extend DQV with the use of Deep Convolutional Neural Networks, `Experience Replay' and `Target Neural Networks' for tackling four games of the Atari Arcade Learning environment. Our results show that DQV learns significantly faster and better than Deep Q-Learning and Double Deep Q-Learning, suggesting that our algorithm can potentially be a better performing synchronous temporal difference algorithm than what is currently present in DRL.

연구 동기 및 목표

• 표본 효율성과 학습 속도를 향상시키기 위해 가치 네트워크를 활용하여 Q-네트워크 훈련을 이끄는 새로운 딥 강화학습 알고리즘을 개발하는 것.
• 표본 QV(λ) 알고리즘을 딥 신경망으로 확장하여 복잡하고 고차원적인 환경에서의 적용을 가능하게 하는 것.
• 아케이드 2600 환경에서 표준 DRL 구성 요소인 경험 재생과 타겟 네트워크와의 조합에서 DQV의 효과성을 평가하는 것.
• 가치 네트워크를 먼저 훈련시키는 것이 Q-네트워크의 수렴 속도를 가속화하는 데 기여하는지, 가치 함수가 Q-함수보다 빨리 수렴할 수 있다는 직관에 기반한 것.
• DQN과 더불어 기존의 DRL 알고리즘들인 더블 DQN과 비교해 DQV가 더 안정적이고 효율적인 대안이 될 잠재력을 탐색하는 것.

제안 방법

• DQV는 상태 가치 V(s)를 추정하기 위해 시간차 학습을 사용해 가치 신경망을 훈련시키며, 이를 바탕으로 Q-네트워크의 타겟 값 계산에 사용한다.
• Q-네트워크는 개선된 TD 업데이트를 사용하여, 추정된 V(s)를 활용해 타겟 값을 계산함으로써 부트스트랩 오차를 감소시키고 학습 안정성을 향상시킨다.
• 알고리즘은 전이 간 시간적 상관관계를 깨뜨리고 데이터 효율성을 높이기 위해 경험 재생을 통합한다.
• 가치 네트워크의 타겟 값 추정을 온라인 네트워크 업데이트에서 분리하기 위해 타겟 신경망을 사용하여 훈련을 안정화시킨다.
• 아케이드 환경에서 상태와 행동가치 함수의 함수 근사기로 깊이 컨볼루션 신경망을 적용한다.
• 이중 네트워크 아키텍처를 사용한다: 주요 Q-네트워크와 별도로, 가치 함수를 위한 느리게 업데이트되는 타겟 네트워크를 사용하여 Q-학습 업데이트 동안 안정적인 타겟을 제공한다.

실험 결과

연구 질문

• RQ1 딥 강화학습에서 가치 네트워크를 사용하여 Q-네트워크의 훈련 안정성과 속도를 향상시킬 수 있는가?
• RQ2 사전 훈련된 또는 더 빨리 수렴하는 가치 함수를 사용할 경우, 딥 RL에서 Q-네트워크의 수렴 속도가 빨라지는가?
• RQ3 아케이드 2600 환경에서 DQV는 DQN과 더블 DQN에 비해 학습 속도와 최종 성능 측면에서 어떻게 비교되는가?
• RQ4 경험 재생과 타겟 네트워크의 통합이 DQV의 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 고차원 관측 환경을 가진 복잡한 제어 과제에 대해 DQV 프레임워크는 효과적으로 확장될 수 있는가?

주요 결과

• DQV는 테스트된 네 가지 아케이드 게임 전반에서 DQN과 더블 DQN보다 더 빠르게 학습했으며, 펭귄 게임은 400 에피소드 이내에 해결되어 기준 방법보다 두 배 이상 더 빠르게 학습했다.
• 보킹스 환경에서 DQV는 DQN과 DDQN보다 약 300 에피소드 빨리 최대 누적 보상 약 80에 도달했다.
• 엔드로 환경에서 DQV는 동일한 훈련 기간 동안 DQN과 DDQN의 거의 두 배에 가까운 누적 보상을 달성했다.
• aic-hockey에서 DQV는 800 에피소드 이후에도 정책 개선을 이룬 유일한 알고리즘이었으며, DQN과 DDQN은 추가 개선을 보이지 못했다.
• Q-학습에 가치 네트워크를 타겟으로 사용함으로써 표본 효율성과 최종 성능이 크게 향상되었으며, 이는 가치 함수 추정이 Q-함수 학습을 가속화할 수 있음을 시사한다.
• DQV는 특히 보상이 희박한 환경에서 뛰어난 안정성과 수렴 속도를 보였으며, 가치 함수의 타겟 네트워크를 갖춘 이중 네트워크 아키텍처의 효과성을 입증했다.