[论文解读] MemFly: On-the-Fly Memory Optimization via Information Bottleneck

Zhenyuan Zhang, Xianzhang Jia+5 more|arXiv (Cornell University)|Feb 8, 2026

Topic Modeling被引用 0

一句话总结

MemFly 引入基于在线信息瓶颈的内存优化，用于 LLM 代理，采用分层的 Note-Keyword-Topic 内存与迭代证据精炼的三通路检索，以提升长期记忆一致性和推理能力。

ABSTRACT

Long-term memory enables large language model agents to tackle complex tasks through historical interactions. However, existing frameworks encounter a fundamental dilemma between compressing redundant information efficiently and maintaining precise retrieval for downstream tasks. To bridge this gap, we propose MemFly, a framework grounded in information bottleneck principles that facilitates on-the-fly memory evolution for LLMs. Our approach minimizes compression entropy while maximizing relevance entropy via a gradient-free optimizer, constructing a stratified memory structure for efficient storage. To fully leverage MemFly, we develop a hybrid retrieval mechanism that seamlessly integrates semantic, symbolic, and topological pathways, incorporating iterative refinement to handle complex multi-hop queries. Comprehensive experiments demonstrate that MemFly substantially outperforms state-of-the-art baselines in memory coherence, response fidelity, and accuracy.

研究动机与目标

• 以信息瓶颈（IB）框架正式处理代理记忆中的记忆巩固与检索保真度之间的权衡。
• 开发一个在线、无梯度的记忆优化过程，通过聚合更新来最小化 I(X;M) 同时最大化 I(M;Y)。
• 设计分层记忆架构（Notes、Keywords、Topics）以稳定语义空间并保留与任务相关的证据。
• 创建一个三通路检索机制（语义主题、符号关键词、拓扑链接）并结合迭代证据精炼以处理复杂查询。
• 在长时记忆基准上对比前沿基线，评估 MemFly 在记忆一致性与推理准确性方面的提升。

提出的方法

• 将代理记忆形式化为一个 Online IB 优化问题，其中记忆状态 M_t 建模为一个动态图。
• 使用在线贪婪聚合（受 AIB 启发），通过一个基于 LLM 的无梯度策略来决定将内存单元合并、连接或追加以最小化 IB 拉格朗日。
• 维护分层的 Note–Keyword–Topic 层级（Notes 以维持保真度，Keywords 作为符号锚，Topics 用于宏观导航）以稳定语义空间。
• 在 Keyword 共现图上执行受约束的图分割（Leiden 算法）以实现主题演化步骤并保持可导航性。
• 部署一个三通路检索机制——Macro-Semantic via Topics、Micro-Symbolic via Keywords、Topological Expansion via Related edges——再进行迭代证据精炼（IER），以应对多跳查询。
• 摄取管线包含语义去噪与通过 LLM 解析提取 Keywords；Merge 减少冗余，Link 保留与任务相关的依赖关系，Append 添加新内容。
• 优化目标：最小化 IB 损失 L_IB = I(X_1:t; M_t) − β I(M_t; Y)，在未知真实未来任务时，使用本地一致性与全局可导航性代理来近似 Y。
• 检索时的证据融合在各通路上使用 Reciprocal Rank Fusion (RRF) 来构建最终证据池以合成答案。

实验结果

研究问题

• RQ1 MemFly 的在线 IB 基于内存构建是否在保留相关信息的同时克服冗余压缩，相较现有的检索为中心和内存增强方法有何优势？
• RQ2 带有迭代精炼的三通路检索是否在多跳推理和答案保真度方面优于基线记忆系统？
• RQ3 各个组成部分（Merge、Link、Append、Keyword 锚定、Topic 导航、IER）对整体性能有何贡献？
• RQ4 MemFly 在封闭源和开源骨干模型以及多种推理类别（多跳、时序、开放域等）下的鲁棒性如何？

主要发现

• MemFly 在记忆一致性、回答保真度和推理准确性方面，相较于多种骨干模型的状态-of-the-art 基线显示显著提升。
• 基于 Notes、Keywords 与 Topics 的记忆结构稳定了语义空间并为下游任务保留了与任务相关的证据。
• 在在线设置下，基于梯度无关的 LLM 优化器能够近似信息瓶颈决策，实现有效的记忆巩固而无需显式梯度更新。
• 三通路检索结合迭代精炼通过利用宏观语义定位、微观符号锚定和拓扑扩展来组装证据，从而提升多跳推理能力。
• 消融研究表明主动记忆构建和检索路径对性能贡献显著，取消任一部分都会导致 F1/召回/命中率等指标的可观下降。
• 开源骨干模型从 MemFly 的结构化记忆中获益显著，表明在较弱上下文推理能力模型中对更大提升的补偿作用更强。