[논문 리뷰] Neural Map: Structured Memory for Deep Reinforcement Learning

Emilio Parisotto, Ruslan Salakhutdinov|arXiv (Cornell University)|2017. 02. 27.

Reinforcement Learning in Robotics참고 문헌 22인용 수 102

한 줄 요약

tldr: Neural Map을 도입하는 연구로, 에이전트의 현재 위치에서만 쓰기 쓰기가 가능하고 글로벌 읽기와 컨텍스트 읽기를 사용해 환경 정보를 저장/검색하는 구조화된 2D 외부 메모리로서 DRL을 위한 메모리 기반 추론을 향상시키며, 보이지 않는 환경에 대한 일반화도 가능하게 한다.

ABSTRACT

A critical component to enabling intelligent reasoning in partially observable environments is memory. Despite this importance, Deep Reinforcement Learning (DRL) agents have so far used relatively simple memory architectures, with the main methods to overcome partial observability being either a temporal convolution over the past k frames or an LSTM layer. More recent work (Oh et al., 2016) has went beyond these architectures by using memory networks which can allow more sophisticated addressing schemes over the past k frames. But even these architectures are unsatisfactory due to the reason that they are limited to only remembering information from the last k frames. In this paper, we develop a memory system with an adaptable write operator that is customized to the sorts of 3D environments that DRL agents typically interact with. This architecture, called the Neural Map, uses a spatially structured 2D memory image to learn to store arbitrary information about the environment over long time lags. We demonstrate empirically that the Neural Map surpasses previous DRL memories on a set of challenging 2D and 3D maze environments and show that it is capable of generalizing to environments that were not seen during training.

연구 동기 및 목표

• 부분적으로 관찰 가능하고 탐색이 많은 3D 환경에서 작동하는 DRL 에이전트의 메모리 한계를 동기 부여하고 해결하기.
• 적응적이고 위치 특정한 쓰기를 갖는 구조화된 외부 메모리(Neural Map)를 제안하여 긴 시간 축에 걸쳐 중요한 환경 정보를 저장한다.
• Neural Map이 2D 미로 과제에서 LSTM 및 MemNN 베이스라인을 능가하고, 보지 않은 환경으로 일반화하며, 3D Doom 설정을 포함한다.

제안 방법

• 에이전트의 위치에 연결된 C x H x W 맵으로 2D/3D 공간 메모리 M을 정의한다.
• 합성곱 신경망을 통해 M으로부터 r_t를 생성하는 글로벌 리드를 사용한다.
• s_t와 r_t에서 도출된 조회로부터 소프트 어텐션을 사용해 M에 대한 컨텍스트 리드를 수행하고 컨텍스트 벡터 c_t를 생성한다.
• s_t, r_t, c_t 및 현재 맵 값으로부터 로컬 쓰기 w_{t+1}^{(x_t,y_t)}을 계산한 뒤, 에이전트의 위치에서 M을 업데이트한다.
• 선택적으로 변형을 확장한다: (i) 로컬화된 읽기, (ii) 키-값 컨텍스트 읽기, (iii) GRU 기반 게이트 로컬 쓰기.
• 에고 중심 좌표로 확장하려면 맵 중심에 에이전트를 유지하도록 카운터 변환을 적용하고 egoupdate로 업데이트한다.
• 여러 환경에 걸쳐 동기 업데이트로 수정된 비동기-강점 액터-크리틱 프레임워크(A3C)로 학습한다.

실험 결과

연구 질문

• RQ1 부분적으로 관측 가능한 환경에서 쓰기 로컬성과 컨텍스트 주소지정을 갖춘 공간적으로 구조화된 외부 메모리가 메모리 기반 의사결정을 향상시킬 수 있는가?
• RQ2 Neural Map 메모리는 더 긴 시간 horizon 추론과 보이지 않는 미로 및 더 복잡한 3D 환경으로의 일반화를 향상시킬 수 있는가?
• RQ3 GRU 기반 쓰기, 키-값 컨텍스트, 에고-중심 매핑과 같은 변형들이 성능과 안정성에 어떤 영향을 미치는가?
• RQ4 2D 목표-탐색 미로와 3D Doom 미로에서 Neural Map이 LSTM 및 MemNN 베이스라인과 어떻게 비교되는가?

주요 결과

• Neural Map은 2D Goal-Search 훈련 및 보유-아웃 테스트 미로에서 LSTM과 MemNN보다 더 높은 성공률을 달성한다.
• GRU 기반 Neural Map은 표준 Neural Map과 비교하여 학습 속도, 최종 성능, 학습 안정성을 더 향상시킨다.
• Doom 3D 미로에서 LSTM+Neural Map (GRU)은 학습 및 미지의 맵 모두에서 모든 다른 방법을 능가한다.
• 정성적 분석은 컨텍스트 읽기가 랜드마크 지표에 집중됨을 보여주며, 장거리 연관성을 위한 기억의 효과적 사용을 시사한다.
• 고정 크기 이력의 메모리 네트워크는 더 긴 미로에서 어려움을 겪는 반면, Neural Map은 맵 기반 메모리로 더 잘 확장된다.