[논문 리뷰] DQN with model-based exploration: efficient learning on environments with sparse rewards

Stephen Gou, Yuyang Liu|arXiv (Cornell University)|2019. 03. 22.

Reinforcement Learning in Robotics참고 문헌 8인용 수 7

한 줄 요약

이 논문은 모델 기반 탐색을 통한 DQN을 제안하며, 최근 상태에 대한 多변량 정규분포 피팅을 통해 최소로 방문된 상태를 추정하고, 이를 바탕으로 한 단계 계획을 수행하여 탐색을 유도함으로써 희박한 보상 환경에서 샘플 효율성을 향상시킨다. Mountain Car에서는 탐색 성능 향상과 학습 가속화를 보였지만, 분포 및 모델링 가정에 기인한 문제로 Lunar Lander에서는 성능이 열 劣하다.

ABSTRACT

We propose Deep Q-Networks (DQN) with model-based exploration, an algorithm combining both model-free and model-based approaches that explores better and learns environments with sparse rewards more efficiently. DQN is a general-purpose, model-free algorithm and has been proven to perform well in a variety of tasks including Atari 2600 games since it's first proposed by Minh et el. However, like many other reinforcement learning (RL) algorithms, DQN suffers from poor sample efficiency when rewards are sparse in an environment. As a result, most of the transitions stored in the replay memory have no informative reward signal, and provide limited value to the convergence and training of the Q-Network. However, one insight is that these transitions can be used to learn the dynamics of the environment as a supervised learning problem. The transitions also provide information of the distribution of visited states. Our algorithm utilizes these two observations to perform a one-step planning during exploration to pick an action that leads to states least likely to be seen, thus improving the performance of exploration. We demonstrate our agent's performance in two classic environments with sparse rewards in OpenAI gym: Mountain Car and Lunar Lander.

연구 동기 및 목표

• 대부분의 경험 전이가 유용한 학습 신호를 제공하지 못하는 희박한 보상 환경에서 DQN의 낮은 샘플 효율성 문제를 해결하기 위해.
• 리play 버퍼에 존재하는 미사용 전이를 활용해 환경의 동역학 및 상태 방문 패턴을 학습함으로써 탐색을 향상시키기 위해.
• 단일 단계 계획을 통해 상태 방문 확률이 낮은 상태를 적극적으로 탐색하는 모델 기반 탐색 전략을 설계하기 위해.
• 모델 자유형 DQN과 모델 기반 탐색을 조합했을 때 더 빠른 학습과 더 나은 샘플 효율성을 얻을 수 있는지 평가하기 위해.
• 정확한 동역학 모델링 및 정규분포 상태 방문이라는 가정 하에 이 방법의 한계를 규명하기 위해.

제안 방법

• 알고리즘은 리play 버퍼 전이 데이터를 기반으로 훈련된 동역학 예측 네트워크를 사용하여 현재 상태와 행동에 기반해 다음 상태를 예측한다.
• 최근에 방문한 상태 집합에 대해 다변량 정규분포를 피팅하여 새로운 상태의 확률을 추정한다.
• 탐색 과정에서, 정규분포 모델 하에서 확률이 가장 낮은 상태로 이어지는 행동을 선택함으로써 드문 상태 탐색을 촉진한다.
• 이 방법은 단일 단계 계획을 수행한다: 각 행동에 대해 다음 상태를 예측하고, 피팅된 정규분포 하에서의 가능성도를 계산하며, 가능성도가 가장 낮은 행동을 선택한다.
• 탐색 전략은 DQN의 엘리프스-그리디 프레임워크에 통합되어 무작위 탐색을 모델 기반 행동 선택으로 대체한다.
• 이 방법은 동역학 모델이 정확하고, 상태 방문이 다변량 정규분포를 따른다는 가정에 의존한다.

실험 결과

연구 질문

• RQ1 모델 기반 탐색은 희박한 보상 환경에서 DQN의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 학습된 동역학 모델을 활용해 탐색을 유도할 경우, 기존 DQN보다 더 빠른 수렴을 이룰 수 있는가?
• RQ3 상태 방문 가능성 기반의 단일 단계 계획은 드문 상태를 발견하는 데 얼마나 효과적인가?
• RQ4 모델 기반 탐색이 실패하는 조건는 무엇이며, 성능을 제한하는 핵심 가정은 무엇인가?
• RQ5 상태 분포와 동역학 정확도의 차이가 있는 환경들, 예를 들어 Mountain Car와 Lunar Lander 간에 이 방법이 일반화 가능한가?

주요 결과

• 제안된 방법은 Mountain Car에서 표준 DQN보다 유의미하게 뛰어난 성능을 보였으며, 평균 보상이 50 에피소드 내로 상당히 높아졌고, DQN은 100회 이상이 걸려야 했다.
• 원래 DQN은 Mountain Car의 일부 실험에서 학습에 실패했지만, 모델 기반 탐색 방법은 세 개의 독립된 실험 전부에서 성공했다.
• 몬테 카를로 정책 기울기 방법은 Mountain Car의 모든 실험에서 학습에 실패했으며, 이는 희박한 보상 환경의 과제를 강조한다.
• Lunar Lander에서는 방법이 DQN과 비교해 뚜렷한 향상이 없었으며, 이는 동역학 모델의 정확도가 낮고 상태 방문이 정규분포를 따르지 않기 때문이다.
• Lunar Lander에서의 실패는 두 핵심 가정 위반 때문이었다: 동역학 예측의 정확도 부족과 비정규분포 상태 방문 분포.
• 시각화 결과는 이 방법이 Lunar Lander에서 랜덤 또는 커널 기반 유사도 방법과 비교해 상태 커버리지가 더 넓어지지 않았음을 확인했으며, 이는 탐색이 비효율적임을 시사한다.