[논문 리뷰] Control of Memory, Active Perception, and Action in Minecraft

Junhyuk Oh, Valliappa Chockalingam외 2명|arXiv (Cornell University)|2016. 05. 30.

Reinforcement Learning in Robotics참고 문헌 38인용 수 172

한 줄 요약

논문은 부분 관측성, 지연 보상, 활성 지각을 테스트하는 Minecraft 과제에서 평가된 메모리 기반 심층 강화학습 아키텍처를 소개하고, 표준 DRL 베이스라인에 비해 보지 않은 맵에 대한 일반화가 향상됨을 보인다.

ABSTRACT

In this paper, we introduce a new set of reinforcement learning (RL) tasks in Minecraft (a flexible 3D world). We then use these tasks to systematically compare and contrast existing deep reinforcement learning (DRL) architectures with our new memory-based DRL architectures. These tasks are designed to emphasize, in a controllable manner, issues that pose challenges for RL methods including partial observability (due to first-person visual observations), delayed rewards, high-dimensional visual observations, and the need to use active perception in a correct manner so as to perform well in the tasks. While these tasks are conceptually simple to describe, by virtue of having all of these challenges simultaneously they are difficult for current DRL architectures. Additionally, we evaluate the generalization performance of the architectures on environments not used during training. The experimental results show that our new architectures generalize to unseen environments better than existing DRL architectures.

연구 동기 및 목표

• 부분 관측성, 지연 보상, 고차원 지각, 그리고 활성 지각을 강조하기 위해 제어 가능한 3D 세계(Minecraft)에서 강화 학습을 촉진한다.
• 설계된 인지적 과제에서 기존 DRL 아키텍처와 새로운 메모리 기반 DRL 아키텍처를 체계적으로 비교한다.
• 보지 못한 맵이나 더 큰 맵 토폴로지에 대한 일반화 성능을 평가한다.
• 맥락 의존 메모리 검색을 활용하여 메모리 기반 아키텍처가 보지 못한 맵에 더 잘 일반화한다는 것을 입증한다.

제안 방법

• 관측치를 CNN으로 고정 길이 특징 벡터로 인코딩한다.
• 최근 관측치를 외부 메모리의 키/값 블록으로 저장한다.
• 컨텍스트 벡터에 조건화된 소프트 어텐션으로 메모리를 검색한다.
• 맥락 벡터를 세 가지 변형으로 구성한다: MQN(피드포워드), RMQN(LSTM 기반), 및 FRMQN(LSTM에 메모리 피드백을 추가).
• 맥락과 검색된 메모리를 결합하는 MLP를 사용하여 행동-가치를 추정한다.

실험 결과

연구 질문

• RQ1 메모리 확장 DRL 아키텍처가 Minecraft 과제에서 부분 관측성, 활성 지각 및 메모리 기반 추론을 전통적인 DQN/DRQN보다 더 잘 처리할 수 있는가?
• RQ2 맥락 의존 메모리 검색과 메모리 피드백이 보지 못한 맵이나 더 큰 맵으로의 일반화를 향상시키는가?
• RQ3 지시자/지표, 패턴, 순차 목표의 기억이 필요한 과제에서 제안된 아키텍처의 수행은 어떠한가?
• RQ4 메모리 기반 모델이 표준 베이스라인보다 더 큰/또는 다른 맵 토폴로지에 대한 외삽(일반화)을 더 잘 보여주는가?

주요 결과

• 메모리 기반 아키텍처(MQN, RMQN, FRMQN)는 일반적으로 인지적 Minecraft 과제에서 DQN 및 DRQN보다 우수하다.
• FRMQN은 보지 못한 맵에 대한 일반화에서 가장 강력한 성능을 보이며, 특히 패턴 매칭 및 지표가 있는 순차 목표에서 두드러진다.
• 메모리 검색은 선택적이고 맥락적으로 사용되며, 예를 들어 FRMQN은 의사결정에 관련될 때만 지표 정보를 검색한다.
• RMQN 및 FRMQN은 보지 못한 맵에서 DRQN보다 더 나은 일반화를 보이며, DRQN은 부분 관측성 하에서 장기 의존성에 어려움을 겪는다.
• 과제 전반에 걸쳐 부분 관측성이 증가함에 따라 메모리 보강 모델과 베이스라인 간의 격차가 커진다(예: 지표와 목표 간의 거리 증가).
• 정성적 분석은 의사결정 시점에 관련 관찰에 메모리 주의가 집중됨을 보여주며, 활성 지각을 위한 학습된 전략을 뒷받침한다.