[논문 리뷰] Value Prediction Network

Junhyuk Oh, Satinder Singh외 1명|arXiv (Cornell University)|2017. 07. 11.

Reinforcement Learning in Robotics참고 문헌 38인용 수 42

한 줄 요약

이 논문은 추상 상태에서 직접 관측을 예측하지 않고 미래의 가치와 보상을 예측하는 방식으로 모델리스와 모델기반 강화학습을 통합하는 딥강화학습 아키텍처인 밸류 예측 네트워크(Value Prediction Network, VPN)를 소개한다. VPN은 9개의 Atari 게임 중 7개에서 DQN을 능가하며, 짧은 룩어헤드 계획을 사용하더라도 불확실한 환경에서 뛰어난 내성성을 보이며, 더 나은 상태 표현 학습과 샘플 복잡도 감소에 효과적임을 입증한다.

ABSTRACT

This paper proposes a novel deep reinforcement learning (RL) architecture, called Value Prediction Network (VPN), which integrates model-free and model-based RL methods into a single neural network. In contrast to typical model-based RL methods, VPN learns a dynamics model whose abstract states are trained to make option-conditional predictions of future values (discounted sum of rewards) rather than of future observations. Our experimental results show that VPN has several advantages over both model-free and model-based baselines in a stochastic environment where careful planning is required but building an accurate observation-prediction model is difficult. Furthermore, VPN outperforms Deep Q-Network (DQN) on several Atari games even with short-lookahead planning, demonstrating its potential as a new way of learning a good state representation.

연구 동기 및 목표

• 고차원적이고 불확실한 환경에서 관측 예측 모델을 정확히 학습하기 어려운 상황에서 이러한 모델을 학습하는 데 도전한다.
• 미래 관측을 예측하지 않고도 계획을 수행할 수 있는지 탐색한다.
• 모델기반 계획과 모델리스 가치 학습을 종합적으로 통합하는 엔드 투 엔드 훈련을 통해 단일 딥러닝 아키텍처를 개발한다.
• 짧은 룩어헤드 계획을 사용하여 Atari 게임과 같은 복잡한 시각적 환경에서 샘플 효율성과 정책 성능을 향상시킨다.
• 다단계 미래 보상과 가치를 보조적으로 예측하면 상태 표현 학습의 품질이 향상되는지 조사한다.

제안 방법

• VPN은 n단계 Q-학습과 시간차 탐색(TD search)의 조합을 통해 옵션 조건부 미래 가치와 보상을 예측하는 단일 신경망을 훈련한다.
• 네트워크는 미래 가치를 향한 관측을 생성하지 않고도 추상 상태 공간에서 동역학을 학습한다.
• 행동 선택은 학습된 가치예측 모델에서 시뮬레이션된 롤아웃을 사용한 룩어헤드 트리 탐색을 통해 수행된다.
• 훈련 중에 부트스트랩 타겟 Q-값은 미래 상태의 예측된 값으로 계산된다.
• 보상에 대해서는 지도학습을, 가치에 대해서는 Q-학습을 사용하여 백프로파게이션을 통해 동역학과 가치 함수를 동시에 최적화한다.
• Atari 게임에서는 10프레임 스킵을 사용하여 옵션을 구성하고, 네트워크는 실시간으로 최대 0.5초 분량의 미래 가치를 예측한다.

실험 결과

연구 질문

• RQ1 직접적인 미래 가치 및 보상 예측이 딥강화학습의 샘플 효율성과 성능 향상에 기여하는가?
• RQ2 미래 상태를 관측하지 않고 가치예측 모델을 학습하면 불확실한 환경에서 더 나은 일반화 성능을 달성하는가?
• RQ3 가치예측 모델을 사용한 짧은 룩어헤드 계획이 복잡한 시각적 환경인 Atari 게임에서 기존 DQN을 능가하는가?
• RQ4 다단계 미래 보상과 가치의 보조 예측이 학습된 상태 표현의 품질을 어느 정도 향상시키는가?
• RQ5 훈련 중 계획 깊이가 추론 시 단기 및 장기 가치 예측의 품질에 어떤 영향을 미치는가?

주요 결과

• VPN은 9개의 Atari 게임 중 7개에서 DQN을 능가하며 평균 점수에서 뚜렷한 향상을 보였다: 예를 들어 Frostbite에서는 3811 대비 3058, Seaquest에서는 5628 대비 2951, Crazy Climber에서는 54119 대비 41658.
• Figure 8에서 보듯이, Seaquest, Q*Bert, Krull, Crazy Climber에서 VPN은 DQN보다 훨씬 빠르게 학습되며 더 급격한 학습 곡선을 보였다.
• 훈련 시 계획 깊이가 5이어도, VPN은 5를 초과하는 계획 길이로 일반화할 수 있었으며, 추론 시 더 깊은 계획의 이점을 얻을 수 있음을 보여주었다.
• 훈련 시 더 깊은 계획(d_train > 1)을 사용할 경우, 짧은 룩어헤드 계획(d_test = 1)에서 성능이 저하됨을 확인하여 장기 계획과 단기 계획의 품질 간 상충 관계가 있음을 시사했다.
• Figure 9에서 보듯이, VPN은 다양한 행동 시퀀스에 대해 합리적인 가치 추정치를 생성한다. 예를 들어 敌을 잡는 행동 시퀀스는 높은 가치를, 사망으로 이어지는 행동 시퀀스는 낮은 가치를 정확히 예측한다.
• 아키텍처의 향후 보상과 가치의 보조 예측이 DQN에 최소한의 아키텍처 수정만으로도 더 나은 상태 표현 학습에 기여함을 증명자료로 보여주었다.