[논문 리뷰] Think-in-Memory: Recalling and Post-thinking Enable LLMs with Long-Term Memory

Lei Liu, Xiaoyan Yang외 5명|arXiv (Cornell University)|2023. 11. 15.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 기억을 통해 생각을 저장하고 진화시켜 장기 기억을 가능하게 하는 새로운 LLM-agnostic 외부 기억 메커니즘인 Think-in-Memory (TiM)을 제안한다. 이는 과거 이력을 반복적으로 재이해하지 않음으로써 장기 대화에서 응답의 일관성과 성능을 향상시키며, 기준선 대비 최대 97.3%의 상위 10개 검색 정확도를 달성하고, 검색 시간을 0.1ms 감소시킨다.

ABSTRACT

Memory-augmented Large Language Models (LLMs) have demonstrated remarkable performance in long-term human-machine interactions, which basically relies on iterative recalling and reasoning of history to generate high-quality responses. However, such repeated recall-reason steps easily produce biased thoughts, extit{i.e.}, inconsistent reasoning results when recalling the same history for different questions. On the contrary, humans can keep thoughts in the memory and recall them without repeated reasoning. Motivated by this human capability, we propose a novel memory mechanism called TiM (Think-in-Memory) that enables LLMs to maintain an evolved memory for storing historical thoughts along the conversation stream. The TiM framework consists of two crucial stages: (1) before generating a response, a LLM agent recalls relevant thoughts from memory, and (2) after generating a response, the LLM agent post-thinks and incorporates both historical and new thoughts to update the memory. Thus, TiM can eliminate the issue of repeated reasoning by saving the post-thinking thoughts as the history. Besides, we formulate the basic principles to organize the thoughts in memory based on the well-established operations, ( extit{i.e.}, insert, forget, and merge operations), allowing for dynamic updates and evolution of the thoughts. Furthermore, we introduce Locality-Sensitive Hashing into TiM to achieve efficient retrieval for the long-term conversations. We conduct qualitative and quantitative experiments on real-world and simulated dialogues covering a wide range of topics, demonstrating that equipping existing LLMs with TiM significantly enhances their performance in generating responses for long-term interactions.

연구 동기 및 목표

• 같은 이력을 반복적으로 소환함으로써 발생하는 기억보강 LLM에서의 추론 일관성 문제를 해결한다.
• 과거의 생각을 진화된 기억으로 유지하여 불필요한 추론을 방지한다.
• LLM 아키텍처에 관계없이 적용 가능한 메모리 메커니즘을 설계하고 동적 메모리 업데이트를 지원한다.
• 실제 및 시뮬레이션된 대화에서 장기적인 응답 품질과 일관성을 향상시킨다.
• 확장 가능한 장기적 컨텍스트 대화를 위해 국소성 기반 해싱(Locality-Sensitive Hashing)을 통한 효율적 검색을 도입한다.

제안 방법

• 두 단계 프로세스를 도입한다: (1) 응답 생성 이전에 기억에서 관련 생각을 소환하고, (2) 생성 이후에 후속 사고를 수행하고 기억을 업데이트한다.
• 삽입, 삭제, 병합의 세 가지 핵심 연산을 사용하여 기억에 생각을 저장하고 진화시켜 동적 메모리 진화를 가능하게 한다.
• 장기 기억에서 관련 생각을 신속하게 검색하기 위해 국소성 기반 해싱(Locality-Sensitive Hashing, LSH)을 적용한다.
• 일관성과 확장성을 확보하기 위해 기억에 저장된 생각을 잘 정립된 원칙에 따라 정렬한다.
• LLM 아키텍처를 수정하지 않고도 기존 LLM에 TiM을 통합하여 LLM-agnostic 배포를 가능하게 한다.
• 계산 비용을 줄이기 위해 LSH를 최적화한 임bedding 기반 유사도 매칭을 사용하여 검색한다.

실험 결과

연구 질문

• RQ1 사고를 저장하고 진화시키는 메모리 메커니즘이 장기 대화 중 LLM의 추론 일관성 문제를 줄일 수 있는가?
• RQ2 응답 생성 이후의 후속 사고가 메모리 품질과 응답 일관성에 어떻게 기여하는가?
• RQ3 TiM은 실제 의료 및 다중 도메인 대화에서 응답 정확도와 맥락 일관성에 얼마나 향상시킬 수 있는가?
• RQ4 TiM의 검색 메커니즘은 표준 쌍별 유사도 계산 대비 얼마나 효율적인가?
• RQ5 TiM은 중국어 및 영어 대화를 포함한 다양한 도메인에서 기준선 메모리 메커니즘을 초월하는가?

주요 결과

• TiM은 KdConv(영화, 음악, 여행) 및 RMD(현실적인 환자-의사 대화)를 포함한 모든 평가 데이터셋에서 응답 정확도와 맥락 일관성을 크게 향상시켰다.
• KdConv 데이터셋에서 TiM은 상위 10개 검색 정확도 97.3%를 기록하여 관련 과거 생각을 효과적으로 검색함을 입증했다.
• 기준선의 쌍별 유사도 계산 대비 TiM은 쿼리당 약 0.1ms의 검색 시간을 단축시켜 효율성이 향상됨을 보였다.
• 성능 향상은 중국어 대화에서 영어 대화보다 더 두드러지게 나타나어 언어별 잠재적 이점이 있을 수 있음을 시사한다.
• 실제 의료 응용 분야에서 TiM 기반 에이전트는 중요한 증상을 忘却하지 않아 더 정확하고 종합적인 진단을 가능하게 했다.
• 정성적 결과는 TiM이 인간의 기억 워크플로우를 모방함으로써 LLM이 더 인간다운, 일관성 있고 맥락에 부합하는 응답을 생성하도록 돕는다.