[논문 리뷰] A Short Survey On Memory Based Reinforcement Learning

D. Roja Ramani|arXiv (Cornell University)|2019. 04. 14.

Reinforcement Learning in Robotics참고 문헌 43인용 수 14

한 줄 요약

이 논문은 샘플 효율성을 향상시키기 위해 고보상 경험을 저장하고 검색하는 메모리 기반 강화학습 방법을 조사한다. 외부 메모리 모듈을 사용하여 딥 강화학습의 의사결정 능력을 향상시키며, 메모리 네트워크와 미분 가능 신경 컴퓨터와 같은 아키텍처를 검토하고, 아케이드, 미로, Concentration 환경에서의 성능을 평가한다. 또한 에피소딕 메모리가 희소 보상 환경에서 학습을 가속화하는 방식을 강조한다.

ABSTRACT

Reinforcement learning (RL) is a branch of machine learning which is employed to solve various sequential decision making problems without proper supervision. Due to the recent advancement of deep learning, the newly proposed Deep-RL algorithms have been able to perform extremely well in sophisticated high-dimensional environments. However, even after successes in many domains, one of the major challenge in these approaches is the high magnitude of interactions with the environment required for efficient decision making. Seeking inspiration from the brain, this problem can be solved by incorporating instance based learning by biasing the decision making on the memories of high rewarding experiences. This paper reviews various recent reinforcement learning methods which incorporate external memory to solve decision making and a survey of them is presented. We provide an overview of the different methods - along with their advantages and disadvantages, applications and the standard experimentation settings used for memory based models. This review hopes to be a helpful resource to provide key insight of the recent advances in the field and provide help in further future development of it.

연구 동기 및 목표

• 외부 메모리를 통합하여 샘플 효율성과 의사결정 능력을 향상시키는 최근의 강화학습 방법을 검토하는 것.
• 딥 RL에서 다양한 메모리 아키텍처의 장점과 한계를 분석하는 것.
• 메모리 기반 RL 에이전트 평가에 사용되는 표준 테스트 환경에 대한 종합적인 개요를 제공하는 것.
• 메모리 증강 RL 시스템 설계에 영감을 주는 해부학적 기반의 히포크라프스 유사 메커니즘을 부각하는 것.
• 미래의 메모리 증강 강화학습 연구를 위한 참고 자료로 기능하는 것.

제안 방법

• 상태, 행동, 보상, 전이 동역학을 포함한 순차적 의사결정을 모델링하기 위해 마르코프 결정 과정(MDP) 프레임워크를 사용한다.
• 특히 고보상 경험을 신속하게 학습할 수 있도록 과거 경험을 저장하고 검색하기 위해 외부 메모리 모듈을 활용한다.
• 현재 관찰과 저장된 메모리 간의 유사도를 계산하기 위해 임bedding 기반 비교를 사용하는 비교자 네트워크를 적용한다.
• 자기 흥미 유도 보너스 메커니즘 도입: b = α(β − C(M, e))로, C(M, e)는 메모리 유사도를 측정하고 b는 새로운 경험을 저장할지 여부를 결정한다.
• 자기 흥미 보너스를 기반으로 새로운 관찰 임베딩을 메모리에 추가할지 여부를 결정하기 위한 노벨리티 임계값을 사용한다.
• 일부 모델에서는 경험 재생과 우선순위 샘플링, 타겟 네트워크를 활용하지만, 주된 초점은 표준 DQN을 넘어서는 메모리 증강 아키텍처에 맞춰져 있다.

실험 결과

연구 질문

• RQ1 외부 메모리 모듈은 딥 강화학습에서 샘플 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 메모리 증강 RL 에이전트의 핵심 아키텍처 설계는 무엇이며, 서로 어떻게 다를 수 있는가?
• RQ3 메모리 기반 방법은 부분 관측 가능하거나 희소 보상 환경에서 표준 딥 RL 알고리즘보다 어떻게 뛰어나게 작용하는가?
• RQ4 메모리 기반 에이전트는 랜덤으로 생성된 미로와 같은 새로운 환경에 어떻게 일반화되는가?
• RQ5 메모리 증강 모델은 히포크라프스의 생물학적 학습 메커니즘을 어느 정도 모방하는가?

주요 결과

• 메모리 기반 RL 방법은 고보상 경험을 기억하고 재사용할 수 있게 해, 샘플 효율성을 크게 향상시킨다.
• 자기 흥미 보너스 메커니즘의 사용은 에이전트가 새로운 경험을 우선순위로 삼아, 희소 보상 환경에서의 탐색 능력을 향상시킨다.
• 2D 및 3D 미로 환경에서, 메모리 증강 에이전트는 에피소딕 메모리를 활용해 장기적 계획을 수행함으로써 표준 DQN과 A3C를 능가한다.
• 아케이드 환경에서, 메모리 증강 에이전트는 표준 딥 RL 기반 모델보다 훨씬 적은 환경 상호작용으로 인간 수준의 성능을 달성한다.
• Concentration 게임 벤치마크는 메모리 기반 에이전트가 장기적 기억과 패턴 인식이 필요한 작업을 해결할 수 있으며, 비메모리 모델보다 뛰어나다는 것을 보여준다.
• 메모리 모듈의 통합은 특히 부분 관측 가능한 마르코프 결정 과정에서 빠른 수렴과 더 나은 일반화 능력을 이끌어낸다.