[논문 리뷰] MemFly: On-the-Fly Memory Optimization via Information Bottleneck

Zhenyuan Zhang, Xianzhang Jia외 5명|arXiv (Cornell University)|2026. 02. 08.

Topic Modeling인용 수 0

한 줄 요약

MemFly는 LLM 에이전트를 위한 온라인 정보-병목 기반 메모리 최적화를 도입하며, 계층화된 Note-Keyword-Topic 메모리와 반복적 증거 정제를 통한 삼경로 검색을 활용해 장기 기억의 일관성과 추론 능력을 향상시킨다.

ABSTRACT

Long-term memory enables large language model agents to tackle complex tasks through historical interactions. However, existing frameworks encounter a fundamental dilemma between compressing redundant information efficiently and maintaining precise retrieval for downstream tasks. To bridge this gap, we propose MemFly, a framework grounded in information bottleneck principles that facilitates on-the-fly memory evolution for LLMs. Our approach minimizes compression entropy while maximizing relevance entropy via a gradient-free optimizer, constructing a stratified memory structure for efficient storage. To fully leverage MemFly, we develop a hybrid retrieval mechanism that seamlessly integrates semantic, symbolic, and topological pathways, incorporating iterative refinement to handle complex multi-hop queries. Comprehensive experiments demonstrate that MemFly substantially outperforms state-of-the-art baselines in memory coherence, response fidelity, and accuracy.

연구 동기 및 목표

• 정보 병목(Information Bottleneck, IB) 프레임워크를 사용하여 에이전트형 기억에서 기억 통합(memory-consolidation)과 검색 충실도(retrieval-fidelity) 간의 트레이드오프를 형식적으로 다룬다.
• 경사 없는 온라인 메모리 최적화 절차를 개발하여 I(X;M)를 최소화하고 I(M;Y)를 최대화하도록 응집적 업데이트를 수행한다.
• 의미 공간을 안정시키고 작업 관련 증거를 보존하기 위해 Notes, Keywords, Topics로 구성된 계층화 메모리 아키텍처를 설계한다.
• 복합 쿼리에 대해 반복적 증거 정제를 갖춘 삼경로 검색 메커니즘(맥락적 주제, 기호적 키워드, 위상적 연결)을 만든다.
• 장기 기억 벤치마크에서 MemFly를 최첨단 baselines와 비교 평가하여 기억의 일관성과 추론 정확도의 향상을 입증한다.

제안 방법

• 에이전트 기억을 동적 그래프로 모델링한 온라인 IB 최적화 문제로 형식화한다.
• 경사 없는 LLM 기반 정책이 Merge, Link, 또는 Append를 결정하도록 하는 온라인 탐욕적 응집(AIB-영감) 업데이트를 사용하여 IB 라그랑지안을 최소화한다.
• 의미 공간을 안정화하기 위해 Notes for fidelity, Keywords as symbolic anchors, Topics for macro-navigation의 계층적 Note–Keyword–Topic 계층 구조를 유지한다.
• Keyword 공발 그래프에 대해 Leiden 알고리즘을 이용한 제약된 그래프 분할로 주제 진화를 구현하여 탐색 가능성을 보존한다.
• Macro-Semantic via Topics, Micro-Symbolic via Keywords, Topological Expansion via Related edges의 삼경로 검색 메커니즘을 도입하고 Iterative Evidence Refinement (IER)으로 다중 홉 쿼리를 처리한다.
• Semantic denoising 및 LLM 기반 파싱에 의한 Keywords 추출을 포함한 수집 파이프라인; Merge는 중복 제거, Link는 작업 관련 의존성 보존, Append는 새로운 콘텐츠를 추가한다.
• 최적화 목표: IB 손실 L_IB = I(X_1:t; M_t) − β I(M_t; Y)를 최소화하되, 실제 미래 작업이 알려지지 않았을 때 지역 일관성 및 글로벌 네비게이빌리 surrogates를 통해 Y를 근사한다.
• Retrieval에서의 증거 융합은 경로 간 Reciprocal Rank Fusion (RRF)을 사용해 최종 증거 풀을 구성하고 답변 합성에 사용한다.

실험 결과

연구 질문

• RQ1 MemFly의 온라인 IB 기반 메모리 구성은 관련 정보를 보존하면서 중복성을 압축하는 데 있어 기존의 검색 중심 및 메모리 보강 방식보다 성능을 발휘할 수 있는가?
• RQ2 반복적 정제를 갖춘 삼경로 검색이 다중 홉 추론 및 정답 충실도를 베이스라인 메모리 시스템보다 향상시키는가?
• RQ3 개별 구성요소들(Merge, Link, Append, Keyword anchoring, Topic navigation, IER)이 전체 성능에 어떻게 기여하는가?
• RQ4 MemFly가 폐쇄형 소스와 오픈 소스 백본 모델 모두 및 다양한 추론 범주(다중 홉, 시간적, 오픈도메인 등)에 걸쳐 견고한가?

주요 결과

• MemFly는 다수의 백본 모델에서 최첨단 기준선과 비교하여 기억의 일관성, 응답 충실도, 추론 정확도에서 상당한 향상을 보인다.
• Notes, Keywords, and Topics에 기초한 메모리 구조가 의미 공간을 안정화하고 다운스트림 작업에 필요한 근거를 보존한다.
• 경사 없이 LLM 기반 최적화기가 온라인 설정에서 정보 병목 결정들을 근사할 수 있어 명시적 경사 기반 업데이트 없이도 효과적인 메모리 통합을 가능하게 한다.
• 삼경로 검색과 반복적 정제가 거시적 의미 로컬라이제이션, 미시적 기호 고정, 위상적 확장을 활용하여 증거를 종합함으로써 다중 홉 추론을 향상시킨다.
• 제거 연구는 활발한 메모리 구성과 검색 경로가 모두 성능에 크게 기여하며, 어느 한 쪽을 줄이면 F1/recall/hit-rate 지표가 유의하게 저하된다고 시사한다.
• 오픈 소스 백본 모델은 MemFly의 구조화된 메모리로부터 특히 큰 이점을 얻어 덜 능력 있는 모델에서 맥락 내 추론이 약한 부분을 더 강하게 보완하는 것으로 시사된다.