[論文レビュー] MemFly: On-the-Fly Memory Optimization via Information Bottleneck

Zhenyuan Zhang, Xianzhang Jia+5 more|arXiv (Cornell University)|Feb 8, 2026

Topic Modeling被引用数 0

ひとこと要約

MemFlyはオンライン情報ボトルネックに基づくメモリ最適化と、 stratified Note-Keyword-Topic memory、反復的証拠精練を伴うtri-pathway retrievalを用いて長期記憶の整合性と推論を改善する。

ABSTRACT

Long-term memory enables large language model agents to tackle complex tasks through historical interactions. However, existing frameworks encounter a fundamental dilemma between compressing redundant information efficiently and maintaining precise retrieval for downstream tasks. To bridge this gap, we propose MemFly, a framework grounded in information bottleneck principles that facilitates on-the-fly memory evolution for LLMs. Our approach minimizes compression entropy while maximizing relevance entropy via a gradient-free optimizer, constructing a stratified memory structure for efficient storage. To fully leverage MemFly, we develop a hybrid retrieval mechanism that seamlessly integrates semantic, symbolic, and topological pathways, incorporating iterative refinement to handle complex multi-hop queries. Comprehensive experiments demonstrate that MemFly substantially outperforms state-of-the-art baselines in memory coherence, response fidelity, and accuracy.

研究の動機と目的

• エージェント記憶における情報統合と取得忠実度のトレードオフをInformation Bottleneck (IB)フレームワークで formally に対処する。
• 勾配なしのオンラインメモリ最適化手法を開発し、agglomerative updates を介して I(X;M) を最小化しつつ I(M;Y) を最大化する。
• 意味空間を安定化させ、タスク関連の証拠を保持する stratified memory アーキテクチャ（Notes、Keywords、Topics）を設計する。
• 複雑なクエリに対して iterative evidence refinement を備えた tri-pathway retrieval 機構（意味的トピック、記号的キーワード、トポロジ的リンク）を設計する。
• MemFly を最先端のベースラインと長期記憶ベンチマークで評価し、記憶の整合性と推論精度の改善を示す。

提案手法

• エージェント記憶をオンラインIB最適化問題として形式化し、メモリ状態 M_t を動的グラフとしてモデル化する。
• 勾配を使わないLLMベースのポリシーが Merge、Link、または Append を決定するオンラインの貪欲的アグロメレーション（AIB風）を用い、IBラグランジアンを最小化する。
• Notes for fidelity、Keywords を象徴的なアンカー、Topics をマクロなナビゲーションに用いる stratified Note–Keyword–Topic 階層を維持し、意味空間を安定化させる。
• Keyword 共起グラフに対する制約付きグラフ分割（Leidenアルゴリズム）を用いたトピック進化ステップを実装し、 navigability を維持する。
• Macro-Semantic via Topics、Micro-Symbolic via Keywords、Topological Expansion via Related edges という3経路 retrieval 機構を展開し、Iterative Evidence Refinement（IER）を用いて多段問に対応する。
• 取り込みパイプラインには意味的ノイズ除去と Keywords のLLMベース解析による抽出を含み、Merge は冗長性を減らし、Link はタスク関連の依存関係を保持、Append は新規コンテンツを追加する。
• 最適化目的: minimize IB loss L_IB = I(X_1:t; M_t) − β I(M_t; Y)、未来タスクが未知の場合はローカル整合性とグローバルナビゲーション代替を用いて Y を近似する。
• retrieval時の証拠統合は、RRF（Reciprocal Rank Fusion）を経路間で用いて最終的な証拠プールを構築し、回答合成を行う。

実験結果

リサーチクエスチョン

• RQ1 MemFly のオンライン IB ベースのメモリ構築は、既存の取得中心・メモリアグメンテーション手法に比べ、関連情報を保持しつつ冗長性を圧縮する点で上回るか。
• RQ2 反復精練を伴う tri-pathway retrieval は、ベースラインのメモリシステムより多段推論と回答忠実度を改善するか。
• RQ3 個々のコンポーネント（Merge、Link、Append、Keyword アンカー、Topic ナビゲーション、IER）は全体性能にどのように寄与するか。
• RQ4 MemFly はクローズドソース・オープンソースのバックボーンモデルや多様な推論カテゴリ（多段、時系列、オープンドメイン等）でロバストか。

主な発見

• MemFly は、複数のバックボーンモデルに対して、記憶の整合性、応答忠実度、推論精度の点で最先端ベースラインと比較して substantial な改善を示す。
• Notes、Keywords、Topics に基づくメモリ構造は意味空間を安定化させ、下流タスクのためのタスク関連証拠を保持する。
• 勾配なしのLLMベースのオプティマイザはオンライン設定で情報ボトルネックの決定を近似でき、明示的な勾配ベース更新なしに効果的なメモリ統合を可能にする。
• Tri-pathway retrieval と反復精練は、Macro semantic localization、Micro-symbolic anchoring、Topological expansion を活用して多段推論を強化し、エビデンスを組み立てる。
• アブレーション研究は、能動的メモリ構築と取得経路の双方が性能に大きく寄与しており、いずれかを削減するとF1 / recall / hit-rate 指標が測定可能な低下を招くことを示す。
• オープンソースのバックボーンモデルは MemFly の構造化メモリから特に恩恵を受け、より能力の低いモデルでの文脈内推論の代償が大きくなることを示唆する。