[논문 리뷰] Generalization of Reinforcement Learners with Working and Episodic Memory

Meire Fortunato, Melissa Tan외 7명|arXiv (Cornell University)|2019. 10. 29.

Reinforcement Learning in Robotics인용 수 28

한 줄 요약

이 논문은 일반화 성능을 평가하기 위해 작업 기억 및 일시적 기억 시스템을 넘어서는 메모리 집약적 강화학습 작업 13개로 구성된 벤치마크 세트를 제안한다. 메모리 재현 에이전트(MRA)를 제안하며, 이는 작업 기억, 일시적 기억, 그리고 대비 표현 학습 손실을 통합한 것으로, 두 가지 유형의 기억이 상호보완적으로 작용하여 분포 이탈 상황에서도 일반화 성능을 향상시킴을 입증한다.

ABSTRACT

Memory is an important aspect of intelligence and plays a role in many deep reinforcement learning models. However, little progress has been made in understanding when specific memory systems help more than others and how well they generalize. The field also has yet to see a prevalent consistent and rigorous approach for evaluating agent performance on holdout data. In this paper, we aim to develop a comprehensive methodology to test different kinds of memory in an agent and assess how well the agent can apply what it learns in training to a holdout set that differs from the training set along dimensions that we suggest are relevant for evaluating memory-specific generalization. To that end, we first construct a diverse set of memory tasks that allow us to evaluate test-time generalization across multiple dimensions. Second, we develop and perform multiple ablations on an agent architecture that combines multiple memory systems, observe its baseline models, and investigate its performance against the task suite.

연구 동기 및 목표

• 메모리 기반 일반화 성능을 평가하기 위한 철저하고 일관된 방법론을 개발하기 위해.
• 작업 기억 및 일시적 기억 시스템이 분포 이탈 상황에서 언제, 어떻게 일반화에 기여하는지 규명하기 위해.
• 학습 데이터와 스케일, 물체 정체성, 환경 구조에서 다름이 있는 테스트 작업에 대해 에이전트 성능을 벤치마크하기 위해.
• 장기적 기억 일반화를 가능하게 하는 표현 학습 및 신용 할당의 역할을 조사하기 위해.
• 인지적으로 관련된 차원에 따라 학습-테스트 분할을 사용하여 메모리 증강 강화학습 에이전트에 대한 표준화된 평가 프레임워크를 제공하기 위해.

제안 방법

• PsychLab과 DMLab에서 유래한 13개의 다양한 작업 세트를 설계하여, 학습-테스트 분할이 물체 정체성, 환경 스케일, 작업 구조에서 다양하게 변하는 방식으로 구성하여 메모리 일반화 성능을 테스트한다.
• Transformer 기반 컨트롤러(작업 기억), k-최근접 이웃 검색 기반 외부 일시적 기억 모듈, 대비 표현 손실을 결합한 하이브리드 아키텍처인 메모리 재현 에이전트(MRA)를 개발한다.
• 다중 작업 대비 손실(L_REC)을 적용하여 다양한 작업 간 공유되고 강건한 표현을 유도하며, 이미지, 행동, 보상 재구성에 대한 가중치가 부여된 구성요소를 포함한다.
• 시간에 따라 역전파(backpropagation through time)를 사용하고, 전개된 학습(unrolled training)을 통해 장기적 신용 할당과 장기간 시퀀스 동안의 기억 접근을 가능하게 한다.
• 모델 간 공정한 비교를 위해 모든 모델에 동일한 하이퍼파라미터 설정을 적용하며, PsychLab 작업에서만 체계적인 튜닝을 실시하고 나머지 작업에서는 최소한의 튜닝만 수행한다.
• 학습 및 테스트 작업 모두에서 성능을 평가하며, 분포 이탈에 따른 성능 저하를 측정하여 일반화 성능를 분석한다.

실험 결과

연구 질문

• RQ1 작업 기억 및 일시적 기억 시스템이 강화학습 에이전트의 일반화에 개별적으로 및 함께 기여하는 방식은 어떠한가?
• RQ2 특정 물체와 환경에서 학습한 에이전트가 물체 정체성 또는 환경 스케일이 변경된 테스트 작업으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ3 대비 표현 학습이 메모리 증강 강화학습 에이전트의 일반화 성능을 향상시키는가? 그리고 일시적 기억과 상호보완적인 효과를 보이는가?
• RQ4 메모리 증강 에이전트의 성능는 학습 데이터와 비교해 분포 이탈이 발생한 테스트 데이터에서 어떻게 저하되는가?
• RQ5 통합된 에이전트 아키텍처가 작업 기억, 일시적 기억, 표현 학습을 효과적으로 통합하여 다양한 메모리 작업에서 베이스라인을 능가할 수 있는가?

주요 결과

• 메모리 재현 에이전트(MRA)는 전체 작업 세트에서 베이스라인 모델을 능가하며, 작업 기억과 일시적 기억 구성요소를 통합한 것이 효과적임을 입증한다.
• 일시적 기억은 특히 장기적 수준의 추론이나 이전에 본 적이 없는 목표지점으로의 탐색이 필요한 작업에서 데이터 효율성과 일반화 성능을 크게 향상시킨다.
• 공유된 이미지, 행동, 보상 재구성 손실을 포함한 대비 표현 학습(L_REC)은 특히 시각적 또는 구조적 변형이 큰 작업에서 일반화 성능을 향상시킨다.
• 일시적 기억과 대비 표현 학습의 조합은 상호보완적인 성능 향상을 이끌어내어, 개별적으로 각각 적용했을 때보다 일반화 오차를 더 크게 감소시킨다.
• 다른 성능 향상에도 불구하고, 어떤 모델도 모든 테스트 작업에서 완전한 일반화를 달성하지 못하며, 더 복잡하거나 구조적으로 이질적인 작업에서 성능 저하가 증가한다.
• MRA 모델은 프로시저성 미로와 전이 추론 작업을 포함한 다양한 환경에서 뛰어난 성능를 보이며, 베이스라인 모델이 일반화에 실패하는 상황에서도 유연하게 대응한다.