[논문 리뷰] Episodic Memory Deep Q-Networks

Zichuan Lin, Tianqi Zhao외 2명|arXiv (Cornell University)|2018. 05. 19.

Reinforcement Learning in Robotics참고 문헌 16인용 수 4

한 줄 요약

이 논문은 심층 Q-학습을 향상시키기 위해 에피소드 메모리를 활용하는 생물학적으로 영감을 받은 강화학습 알고리즘인 에피소드 메모리 심층 Q-네트워크(EMDQN)를 제안한다. 고보상 트레이젝터리를 학습 가능한 가중치 인자 λ를 통해 Q-네트워크에 희석시킴으로써 EMDQN은 표준 DQN이 요구하는 데이터의 1/5로도 아케이드 게임에서 최신 성능을 달성하며, 샘플 효율성을 크게 향상시키고 Q-값 과소추정을 감소시킨다.

ABSTRACT

Reinforcement learning (RL) algorithms have made huge progress in recent years by leveraging the power of deep neural networks (DNN). Despite the success, deep RL algorithms are known to be sample inefficient, often requiring many rounds of interaction with the environments to obtain satisfactory performance. Recently, episodic memory based RL has attracted attention due to its ability to latch on good actions quickly. In this paper, we present a simple yet effective biologically inspired RL algorithm called Episodic Memory Deep Q-Networks (EMDQN), which leverages episodic memory to supervise an agent during training. Experiments show that our proposed method can lead to better sample efficiency and is more likely to find good policies. It only requires 1/5 of the interactions of DQN to achieve many state-of-the-art performances on Atari games, significantly outperforming regular DQN and other episodic memory based RL algorithms.

연구 동기 및 목표

• 심층 강화학습의 샘플 효율성을 향상시키기 위해 심층 Q-네트워크에 에피소드 메모리를 통합한다.
• 근사 결정성 환경에서 표준 DQN의 느린 수렴성과 높은 데이터 요구량 문제를 해결한다.
• 더블 Q-학습에 의존하지 않고 기능 근사 Q-학습에서 Q-값 과소추정을 감소시킨다.
• 더 나은 정책 학습을 위해 파rametric(DQN)과 non-parametric(에피소드 제어) 학습 시스템을 생물학적으로 영감을 받은 방식으로 융합한다.

제안 방법

• EMDQN은 표준 DQN 손실과 에피소드 메모리에서 유도된 감독 신호를 조합하기 위해 학습 가능한 가중치 인자 λ를 도입한다.
• 에피소드 메모리는 과거 에피소드에서 관찰된 고보상 상태-행동 트레이젝터리를 저장하고 Q-네트워크 업데이트의 타겟 값을 제공한다.
• Q-네트워크는 표준 DQN 손실과 메모리 감독 손실의 하이브리드 손실을 사용하여 훈련된다. 이 손실은 Q-값을 가장 우수한 이력 트레이젝터리의 수익으로 끌어당긴다.
• 에피소드 메모리는 각 에피소드에서 관찰된 가장 보상이 높은 시퀀스를 저장함으로써 훈련 중에 업데이트된다.
• 이 방법은 DQN과 유사하게 타겟 네트워크와 경험 재생을 사용하지만, 학습을 가속화하고 훈련을 안정화시키기 위해 에피소드 메모리 신호를 통합한다.
• λ의 값은 훈련 중에 고정되지만, 논문에서는 동적 조정이 성능 향상에 기여할 수 있음을 제안한다.

실험 결과

연구 질문

• RQ1 에피소드 메모리는 아케이드 환경에서 심층 Q-학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 에피소드 메모리는 심층 강화학습에서 Q-값 추정의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ3 더블 Q-학습을 사용하지 않고도 에피소드 메모리는 Q-값 과소추정을 자연스럽게 완화시킬 수 있는가?
• RQ4 심층 강화학습에서 파rametric와 non-parametric 학습 시스템을 융합했을 때의 영향은 무엇인가?

주요 결과

• EMDQN은 표준 DQN이 요구하는 데이터의 1/5로만 사용하여 아케이드 게임에서 최신 성능을 달성한다.
• 이 방법은 훈련 시간과 샘플 복잡도를 크게 감소시키면서도 최종 성능를 유지하거나 향상시킨다.
• DQN에 비해 Q-값 학습 곡선의 분산이 낮아 더 안정적인 학습 신호를 나타낸다.
• 알고리즘은 Q-값 과소추정을 자연스럽게 완화하여, DQN에서 관찰되는 치명적인 보상 감소 현상을 방지한다.
• Battlezone와 같은 게임에서는 후반 훈련에서 성능이 약간 떨어지는 경향이 있어, 탐색과 이용의 균형을 맞추기 위해 동적 λ 조정이 유망할 수 있음을 시사한다.
• 에피소드 메모리 신호는 이전 최적성 강화 방법에서 사용하는 국소적 경계와 달리 보상 전파를 완전히 제공한다.