[논문 리뷰] Learning from Demonstrations for Real World Reinforcement Learning

Todd Hester, Matej Vecerík외 10명|arXiv (Cornell University)|2017. 01. 01.

Reinforcement Learning in Robotics참고 문헌 35인용 수 99

한 줄 요약

이 논문은 시간 차이 학습과 전문가 시연의 마진을 넓힌 분류를 조합하여 실제 환경에서 딥 강화 학습을 가속화하는 방법인 Deep Q-learning from Demonstrations(DQfD)를 제안한다. DQfD는 초기 성능과 샘플 효율성을 크게 향상시키며, 42개의 Atari 게임 중 27개에서 DQN을 능가하고, 열악한 시연 데이터가 존재할 때에도 강인함을 보인다.

ABSTRACT

Deep reinforcement learning (RL) has achieved several high profile successes in difficult control problems. However, these algorithms typically require a huge amount of data before they reach reasonable performance. In fact, their performance during learning can be extremely poor. This may be acceptable for a simulator, but it severely limits the applicability of deep RL to many real-world tasks, where the agent must learn in the real environment. In this paper we study a setting where the agent may access data from previous control of the system. We present an algorithm, Deep Q-learning from Demonstrations (DQfD), that leverages this data to massively accelerate the learning process even from relatively small amounts of demonstration data. DQfD works by combining temporal difference updates with large-margin classification of the demonstrator's actions. We show that DQfD has better initial performance than Deep Q-Networks (DQN) on 40 of 42 Atari games and it receives more average rewards than DQN on 27 of 42 Atari games. We also demonstrate that DQfD learns faster than DQN even when given poor demonstration data.

연구 동기 및 목표

• 실제 환경에서 딥 강화 학습의 낮은 샘플 효율성과 높은 데이터 요구량 문제를 해결하기 위해.
• 전문가 시연 데이터를 활용하여 실제 제어 과제에서 더 빠른 학습을 가능하게 하기 위해.
• 기본 DQN이 성능이 열악한 초기 단계에서 학습 중 초반 성능 향상을 위해.
• 시연 데이터가 노이즈가 있거나 최적화되지 않은 경우에도 효과적인 방법을 개발하기 위해.

제안 방법

• DQfD는 시간 차이 학습과 마진을 넓힌 분류를 조합하여 시연 데이터와 환경 상호작용을 모두 활용해 Q-네트워크를 훈련시킨다.
• 전문가 시연를 활용해 행동 선택을 감독하며, 네트워크가 전문가 행동을 높은 신뢰도로 예측하도록 큰 마진 손실을 적용한다.
• 알고리즘은 시연 데이터를 Q-학습 업데이트 과정에 통합하여, 훈련 중 전문가 행동을 감독 타겟으로 간주한다.
• 시간 차이 업데이트와 전문가 행동 분류를 균형 잡힌 하이브리드 학습 목표로 조합함으로써 정책 안정성과 수렴성을 향상시킨다.
• 불일치하는 전문가 트랙젝터리를 가중치를 낮추거나 필터링함으로써 열악한 품질의 시연 데이터에 강인하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 전문가 시연가 딥 Q-네트워크의 초기 성능를 실질적인 강화 학습 환경에서 크게 향상시킬 수 있는가?
• RQ2 DQfD는 Atari 게임에서 표준 DQN과 비교해 샘플 효율성과 최종 성능 측면에서 어떻게 다른가?
• RQ3 노이즈가 있거나 최적화되지 않은 시연 데이터가 제공될 경우 DQfD는 얼마나 잘 유지되는가?
• RQ4 감독 분류와 시간 차이 학습을 조합하면 실질적인 강화 학습 환경에서 수렴 속도가 빨라지는가?

주요 결과

• DQfD는 42개의 Atari 게임 중 40개에서 DQN보다 더 나은 초반 성능를 기록하여, 초기 단계에서 학습 효율성이 향상됨을 보여준다.
• 평균적으로 DQfD는 42개의 Atari 게임 중 27개에서 DQN보다 더 높은 보상을 획득하여 일관된 성능 향상을 나타낸다.
• 열악한 품질의 시연 데이터가 존재할지라도 DQfD는 DQN보다 더 빨리 학습을 완료하여, 최적화되지 않은 전문가 트랙젝터리에 강인함을 보인다.
• 큰 마진 분류를 통한 전문가 시연 통합은 실질적인 강화 학습에서 정책 안정성 향상과 샘플 복잡도 감소에 기여한다.