[论文解读] Environment Maps: Structured Environmental Representations for Long-Horizon Agents

Yenchia Feng, Chirag Sharma+1 more|arXiv (Cornell University)|Mar 24, 2026

Scientific Computing and Data Management被引用 0

一句话总结

本文引入 Environment Maps，这是一种持久的、与代理无关的知识库，用于将多模态痕迹中的上下文、参数化动作、工作流和隐性知识组织成可查询的图，并在多个领域显著提升长期目标的网页自动化性能。

ABSTRACT

Although large language models (LLMs) have advanced rapidly, robust automation of complex software workflows remains an open problem. In long-horizon settings, agents frequently suffer from cascading errors and environmental stochasticity; a single misstep in a dynamic interface can lead to task failure, resulting in hallucinations or trial-and-error. This paper introduces $ extit{Environment Maps}$: a persistent, agent-agnostic representation that mitigates these failures by consolidating heterogeneous evidence, such as screen recordings and execution traces, into a structured graph. The representation consists of four core components: (1) Contexts (abstracted locations), (2) Actions (parameterized affordances), (3) Workflows (observed trajectories), and (4) Tacit Knowledge (domain definitions and reusable procedures). We evaluate this framework on the WebArena benchmark across five domains. Agents equipped with environment maps achieve a 28.2% success rate, nearly doubling the performance of baselines limited to session-bound context (14.2%) and outperforming agents that have access to the raw trajectory data used to generate the environment maps (23.3%). By providing a structured interface between the model and the environment, Environment Maps establish a persistent foundation for long-horizon planning that is human-interpretable, editable, and incrementally refinable.

研究动机与目标

• 在长期网页自动化中动机与解决级联错误和环境漂移。
• 提出统一、持久的表示，将多源证据整合成一个图。
• 展示环境地图在跨域长期规划中的优势。
• 在固定代理栈下，环境地图比基线和原始轨迹使用表现更好。
• 讨论地图化方法在可解释性、维护性和可扩展性方面的优势。

提出的方法

• 将环境地图定义为 4 元组 M = (C, A, W, K)，其中包含上下文、行动、工作流和隐性知识。
• 提出五阶段流水线，从原始观测和界面表示构建地图：统一步骤序列、提取动作、将动作泛化为参数化形式、提取上下文和隐性知识、并合并为稳定的地图。
• 按 URL 模式聚类上下文、规范化 URL，并将动作落地为带参数值的参数化模板。
• 在 WebArena 上进行代理无关的评估，设三种条件（Baseline、Trajectory Access、Environment Map Access）以衡量地图的影响。
• 提供 JSON 架构和详细附录可视化，说明地图结构与来源。

实验结果

研究问题

• RQ1 提供环境地图是否比基线和原始轨迹使用能提高长期目标的成功率？
• RQ2 环境地图如何影响对未直接演示任务的泛化？
• RQ3 环境地图在 UI 密集型与较简单的网页环境中的影响如何？
• RQ4 地图在会话之间的可移植性与在漂移的 UI 环境中的维护友好性如何？

主要发现

• 环境地图实现了 28.2% 的任务成功率，几乎是基线 14.2% 的两倍。
• 环境地图在使用原始轨迹方面的表现（23.3%）高出约 4.9 个百分点。
• 地图提升了对目标知识的检索，大多数工具调用与文件相关（Read、Grep、Glob）。
• 在高分支、多 UI 的环境中收益最大（如 GitLab、CMS）。
• 地图保持可解释、可编辑、可增量改进，并且可低成本构建，对模型具有可重复的收益。