[논문 리뷰] Towards mental time travel: a hierarchical memory for reinforcement learning agents

Andrew K. Lampinen, Stephanie C. Y. Chan외 2명|arXiv (Cornell University)|2021. 05. 28.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 강화학습 에이전트를 위한 새로운 메모리 아키텍처인 계층적 조각 주의 메모리(Hierarchical Chunk Attention Memory, HCAM)를 소개한다. HCAM은 시간적으로 청크로 나누어진 메모리에 대한 계층적 주의 메커니즘을 통해 과거 사건의 세밀하고 희박한 복기를 가능하게 한다. HCAM을 통해 에이전트는 먼저 메모리 청크의 개괄적 요약에 주의를 기울이고, 그 다음으로 가장 관련성이 높은 청크들에 대해 세밀하게 집중함으로써 정신적으로 시간을 거슬러 올라가는 것과 유사한 능력을 갖게 된다. 이는 장기적 기억 유지, 샘플 효율성, 일반화 능력 향상에 크게 기여하며, 특히 장기간의 시퀀스를 통한 추론이나 에피소드 간 제로샷 전이가 요구되는 과제에서 두드러진 성능 향상을 이룬다.

ABSTRACT

Reinforcement learning agents often forget details of the past, especially after delays or distractor tasks. Agents with common memory architectures struggle to recall and integrate across multiple timesteps of a past event, or even to recall the details of a single timestep that is followed by distractor tasks. To address these limitations, we propose a Hierarchical Chunk Attention Memory (HCAM), which helps agents to remember the past in detail. HCAM stores memories by dividing the past into chunks, and recalls by first performing high-level attention over coarse summaries of the chunks, and then performing detailed attention within only the most relevant chunks. An agent with HCAM can therefore "mentally time-travel" -- remember past events in detail without attending to all intervening events. We show that agents with HCAM substantially outperform agents with other memory architectures at tasks requiring long-term recall, retention, or reasoning over memory. These include recalling where an object is hidden in a 3D environment, rapidly learning to navigate efficiently in a new neighborhood, and rapidly learning and retaining new object names. Agents with HCAM can extrapolate to task sequences much longer than they were trained on, and can even generalize zero-shot from a meta-learning setting to maintaining knowledge across episodes. HCAM improves agent sample efficiency, generalization, and generality (by solving tasks that previously required specialized architectures). Our work is a step towards agents that can learn, interact, and adapt in complex and temporally-extended environments.

연구 동기 및 목표

• 긴 지연 또는 간섭 과제 상황에서도 기존 메모리 아키텍처가 세밀한 에피소드 메모리를 유지하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 관련 없는 중간 간섭 사건들에 의해 영향을 받지 않고도 강화학습 에이전트가 과거 사건을 희박하고 세밀하게 복기할 수 있도록 하기 위해.
• 메모리 증강 강화학습 에이전트에서 샘플 효율성, 일반화 능력, 하이퍼파라미터 변화에 대한 강건성을 향상시키기 위해.
• 학습 기간 동안 관찰한 것보다 수십 배 이상 긴 작업 시퀀스로의 외삽 능력을 제공하기 위해.
• 메타학습 환경에서의 제로샷 일반화를 통해 다수의 에피소드에 걸쳐 지식 유지를 지원하기 위해.

제안 방법

• HCAM은 에이전트의 과거를 고정 길이의 시간 청크로 나누며, 각 청크를 메모리 단위로 저장한다.
• 복기 과정에서 HCAM은 먼저 메모리 청크의 요약에 대해 굵은 수준의 주의를 적용하여 관련 있는 메모리 청크를 식별한다.
• 그 후, 가장 관련성이 높은 청크들 내에서만 세밀한 주의를 수행하여 세부 정보를 복구한다.
• 이 아키텍처는 이중 수준의 주의 메커니즘을 사용한다: 먼저 청크 요약에 대한 고수준 주의를 적용하고, 그 다음으로 선택된 청크 내에서 저수준 주의를 수행한다.
• HCAM은 강화학습 에이전트의 정책 네트워크에 통합되어 메모리 증강 기반의 의사결정을 가능하게 한다.
• 이 방법은 하이퍼파라미터 변화에 강건하도록 설계되었으며, 청크 경계의 엔드 투 엔드 트레이닝이 필요하지 않다.

실험 결과

연구 질문

• RQ1 계층적 메모리 아키텍처가 장기간의 지연이나 간섭 과제 이후에도 세밀한 과거 사건을 복기할 수 있는가?
• RQ2 HCAM이 메모리 집약적인 강화학습 과제에서 샘플 효율성과 일반화 능력을 어느 정도 향상시킬 수 있는가?
• RQ3 HCAM을 갖춘 에이전트는 학습 기간 동안 관찰한 것보다 훨씬 긴 작업 시퀀스로 외삽할 수 있는가?
• RQ4 HCAM은 메타학습 환경에서의 제로샷 일반화를 통해 다중 에피소드 메모리 유지 능력을 제공하는가?
• RQ5 하이퍼파라미터 변화에 대한 강건성과 성능 측면에서, HCAM은 TransformerXL 및 LSTM 기반 메모리 아키텍처보다 어떻게 비교되는가?

주요 결과

• HCAM 에이전트는 15억 개의 학습 스텝에서 가장 어려운 과제들(예: 8댄스, 장기간 지연)에서 80–90%의 성능를 기록했으며, 동일한 과제에서 최고의 TrXL 에이전트가 달성한 40–50% 성능를 뛰어넘었다.
• HCAM 에이전트의 75%가 가장 어려운 과제에서 최고의 TrXL 에이전트를 뛰어넘었으며, 대응 t-검정에서 통계적으로 유의미한 차이를 보였다(p = 0.001 및 p = 0.01).
• HCAM 에이전트는 20개의 간섭 과제나 각각 1개의 간섭 과제를 포함한 4개의 에피소드가 있는 과제에서도 높은 성능를 유지했지만, TrXL 에이전트는 복제 실험에서 유의미한 우연 초과 성능를 보이지 않았다.
• HCAM 에이전트의 50%가 빠른 단어 학습 과제에서 50억 스텝 이내에 높은 학습 성능를 달성한 반면, TrXL 에이전트는 그 비율이 17%에 불과했다.
• HCAM은 학습률과 엔트로피 가중치 변화에 대해 일관된 성능를 보이며 하이퍼파라미터 변화에 대한 강건성이 뛰어났다. 반면 TrXL은 높은 민감도를 보였다.
• HCAM은 메타학습 환경에서의 제로샷 일반화를 통해 다중 에피소드 메모리 유지 능력을 실현했으며, 이는 이전 아키텍처에서는 달성하지 못한 능력이었다.