[논문 리뷰] When Remembering and Planning are Worth it: Navigating under Change

Omid Madani, J. Brian Burns외 2명|arXiv (Cornell University)|2026. 02. 17.

Memory and Neural Mechanisms인용 수 0

한 줄 요약

논문은 변화하는 불확실한 격자 세계에서 기억 기반 맵 전략과 더 간단한 전략을 비교하고, 기억 정보에 기반한 계획이 중간 정도의 변화 하에서 효율성을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

We explore how different types and uses of memory can aid spatial navigation in changing uncertain environments. In the simple foraging task we study, every day, our agent has to find its way from its home, through barriers, to food. Moreover, the world is non-stationary: from day to day, the location of the barriers and food may change, and the agent's sensing such as its location information is uncertain and very limited. Any model construction, such as a map, and use, such as planning, needs to be robust against these challenges, and if any learning is to be useful, it needs to be adequately fast. We look at a range of strategies, from simple to sophisticated, with various uses of memory and learning. We find that an architecture that can incorporate multiple strategies is required to handle (sub)tasks of a different nature, in particular for exploration and search, when food location is not known, and for planning a good path to a remembered (likely) food location. An agent that utilizes non-stationary probability learning techniques to keep updating its (episodic) memories and that uses those memories to build maps and plan on the fly (imperfect maps, i.e. noisy and limited to the agent's experience) can be increasingly and substantially more efficient than the simpler (minimal-memory) agents, as the task difficulties such as distance to goal are raised, as long as the uncertainty, from localization and change, is not too large.

연구 동기 및 목표

• 다양한 기억 사용 및 계획 전략이 비정지 환경에서 공간 탐색에 어떤 영향을 주는지 조사한다.
• 기억 기반 맵 구축 및 계획이 다양한 과제 난이도 하에서 더 단순한 전략에 비해 이점을 제공하는지 평가한다.
• 탐색 및 계획 작업을 다룰 수 있도록 여러 전략을 유연하게 결합하는 에이전트 아키텍처를 설계하는 방법을 결정한다.

제안 방법

• 확률적 격자 세계에서 무작위에서 기억 기반 계획에 이르는 다양한 탐색 전략을 평가한다.
• 점진적 시간 예산으로 전략 간 전환이 가능한 다전략 에이전트를 도입한다.
• 여러 기억 기반 전략(LesVisited, Path-Memory, ProbMap)을 구현하고 Greedy 및 Random 기반선을 비교한다.
• ProbMap에서 에피소드 기억을 유지하고 분포를 학습하여 계획을 위한 확률적 맵을 구축한다.
• 부분 관측성과 운동 노이즈를 허용하여 기억과 계획의 견고성을 테스트한다.

(a)

실험 결과

연구 질문

• RQ1 변화하는 환경에서 기억 기반 맵 전략이 더 간단한 전략을 능가하는 조건은 무엇인가?
• RQ2 에이전트가 식량 위치가 알려지지 않았거나 알려진 경우 탐색과 계획을 처리하기 위해 여러 전략을 어떻게 결합해야 하는가?

주요 결과

• 기억 기반 전략이 에피소드 기억을 업데이트 및 활용하여 맵을 구축하면 중간 정도의 불확실성 하에서 과제가 증가할수록 음식 도달에 필요한 단계 수를 크게 줄일 수 있다.
• 검색과 계획 하위 작업 모두를 다루기 위해 여러 전략을 결합해야 견고한 성능이 나며, 순수 계획 혹은 순수 그레이디 전략은 저조할 수 있다.
• 에피소드 기억을 업데이트하고 불완전한 맵을 계획에 사용하는 비정지 프로브러리 학습(non-stationary probability learning)을 이용한 접근은 단순한 에이전트에 비해 큰 이점을 제공하며(일부 조건에서 20배 이상 적은 단계 수를 기록)
• 진행형 시간 예산과 라운드 로빈 전략 전환을 갖춘 복합 에이전트는 변화 하에서 계획을 위한 기억 업데이트를 효과적으로 활용할 수 있다.

(b)