[論文レビュー] When Remembering and Planning are Worth it: Navigating under Change

Omid Madani, J. Brian Burns+2 more|arXiv (Cornell University)|Feb 17, 2026

Memory and Neural Mechanisms被引用数 0

ひとこと要約

論文は、ナビゲーションの記憶ベースのマップ戦略と単純な戦略を、変化する不確かなグリッドワールドで比較し、記憶を用いた計画が moderate 変化の下で効率性を大幅に向上させる可能性を示しています。

ABSTRACT

We explore how different types and uses of memory can aid spatial navigation in changing uncertain environments. In the simple foraging task we study, every day, our agent has to find its way from its home, through barriers, to food. Moreover, the world is non-stationary: from day to day, the location of the barriers and food may change, and the agent's sensing such as its location information is uncertain and very limited. Any model construction, such as a map, and use, such as planning, needs to be robust against these challenges, and if any learning is to be useful, it needs to be adequately fast. We look at a range of strategies, from simple to sophisticated, with various uses of memory and learning. We find that an architecture that can incorporate multiple strategies is required to handle (sub)tasks of a different nature, in particular for exploration and search, when food location is not known, and for planning a good path to a remembered (likely) food location. An agent that utilizes non-stationary probability learning techniques to keep updating its (episodic) memories and that uses those memories to build maps and plan on the fly (imperfect maps, i.e. noisy and limited to the agent's experience) can be increasingly and substantially more efficient than the simpler (minimal-memory) agents, as the task difficulties such as distance to goal are raised, as long as the uncertainty, from localization and change, is not too large.

研究の動機と目的

• Non-stationary environments における空間ナビゲーションに対する、異なる記憶利用と計画戦略の影響を調査する。
• メモリベースのマップ構築と計画が、異なるタスク難易度下で単純戦略より優位性を提供するかを評価する。
• 探索と計画タスクを扱うために、複数の戦略を柔軟に組み合わせるエージェントアーキテクチャの設計を検討する。

提案手法

• 確率的グリッドワールドにおいて、ランダムから記憶ベースの計画までの範囲のナビゲーション戦略を評価する。
• 戦略間を切替え可能で、時間予算を徐々に拡張するマルチ戦略エージェントを導入する。
• いくつかの記憶ベース戦略（LeastVisited, Path-Memory, ProbMap）を実装し、GreedyおよびRandomのベースラインと比較する。
• ProbMap において、エピソード記憶を保持し、計画のための確率的マップを構築する分布を学習する。
• 部分的な可観測性と運動ノイズを許容して、記憶と計画のロバスト性をテストする。

(a)

実験結果

リサーチクエスチョン

• RQ1 記憶ベースのマップ戦略が、変化する環境下で単純な戦略より優れて発揮される条件は何か。
• RQ2 探索と計画をどう組み合わせて、食物の位置が未知または既知の場合にエージェントはどう対応すべきか。

主な発見

• エピソード記憶を更新・活用してマップを構築する記憶ベースの戦略は、タスク難易度が上がるとともに、 moderate uncertainty の下で食物到達までの手数を顕著に減らすことができる。
• 検索と計画のサブタスクの両方を扱える複数戦略の組み合わせが堅牢な性能に寄与し、純粋な計画または純粋なGreedyアプローチは下回る可能性がある。
• 記憶を更新し、完璧でないマップを計画に活用する非定常確率学習を用いるアプローチは、単純なエージェントに対して大幅な改善をもたらし、条件によっては手数を20倍超減らすことも可能である。
• 進行性の時間予算とラウンドロビン方式の戦略切替を組み合わせた複合エージェントは、変化下での計画に対する記憶の更新を効果的に活用できる。

(b)