[논문 리뷰] TA-Mem: Tool-Augmented Autonomous Memory Retrieval for LLM in Long-Term Conversational QA

Mengwei Yuan, Jianan Liu외 5명|arXiv (Cornell University)|2026. 03. 10.

Topic Modeling인용 수 0

한 줄 요약

TA-Mem은 적응형 메모리 추출, 다중 인덱스 저장, 도구-주도 검색을 통한 LLM의 장기 대화 처리를 위한 도구-강화 자율 메모리 검색 프레임워크를 도입합니다. LoCoMo에서 베이스라인 대비 성능이 향상되었으며, 질문 유형에 따른 도구 사용을 분석합니다.

ABSTRACT

Large Language Model (LLM) has exhibited strong reasoning ability in text-based contexts across various domains, yet the limitation of context window poses challenges for the model on long-range inference tasks and necessitates a memory storage system. While many current storage approaches have been proposed with episodic notes and graph representations of memory, retrieval methods still primarily rely on predefined workflows or static similarity top-k over embeddings. To address this inflexibility, we introduced a novel tool-augmented autonomous memory retrieval framework (TA-Mem), which contains: (1) a memory extraction LLM agent which is prompted to adaptively chuck an input into sub-context based on semantic correlation, and extract information into structured notes, (2) a multi-indexed memory database designed for different types of query methods including both key-based lookup and similarity-based retrieval, (3) a tool-augmented memory retrieval agent which explores the memory autonomously by selecting appropriate tools provided by the database based on the user input, and decides whether to proceed to the next iteration or finalizing the response after reasoning on the fetched memories. The TA-Mem is evaluated on the LoCoMo dataset, achieving significant performance improvements over existing baseline approaches. In addition, an analysis of tool use across different question types also demonstrates the adaptivity of the proposed method.

연구 동기 및 목표

• 장기 대화형 QA에서 LLM의 메모리 및 컨텍스트 윈도우 한계를 해결한다.
• 적응형 추출, 다형식 인덱싱, 도구 기반 검색을 갖춘 유연한 메모리 추출 시스템을 개발한다.
• 도구를 사용한 메모리의 자율적 탐색을 가능하게 하여 검색 및 응답 생성을 향상시킨다.

제안 방법

• 입력을 의미적으로 상호 연관된 서컨텍스트로 적응적으로 분할하고 구조화된 메모를 추출하는 메모리 추출 LLM 에이전트를 도입한다.
• 다양한 쿼리 방법에 대한 키 기반 조회 및 유사도 기반 검색을 지원하는 다중 인덱스 메모리 데이터베이스를 설계한다.
• 사용자 입력과 추론 진행에 따라 데이터베이스에서 적절한 도구를 자율적으로 선택하는 도구-강화 메모리 검색 에이전트를 제안한다.

실험 결과

연구 질문

• RQ1 고정된 워크플로우나 정적 임베딩보다 LLM 기반의 장기 QA에서 메모리 검색을 어떻게 더 유연하게 만들 수 있는가?
• RQ2 도구-강화 메모리 검색 에이전트가 메모리를 자율적으로 탐색하여 응답 품질을 향상시킬 수 있는가?
• RQ3 장기 대화형 작업에서 다양한 쿼리 모달리에 대해 다중 인덱스 메모리 저장의 이점은 무엇인가?

주요 결과

• TA-Mem 프레임워크는 LoCoMo 데이터셋에서 기존 베이스라인보다 유의미한 성능 향상을 달성한다.
• 다양한 질문 유형에 따른 도구 사용 분석은 접근법의 적응성을 보여준다.
• 이 프레임워크는 적응형 메모리 추출과 자율적 도구 구동 검색을 결합하여 장기 QA를 향상시킨다.