[논문 리뷰] SCM: Enhancing Large Language Model with Self-Controlled Memory Framework

Bing Wang, Xinnian Liang외 7명|arXiv (Cornell University)|2023. 04. 26.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 모델 미세조정이나 아키텍처 변경 없이 초장거리 입력을 처리할 수 있도록 해주는 플러그 앤 플레이 프레임워크인 Self-Controlled Memory(SCM)을 제안한다. 메모리 컨트롤러, 메모리 스트림, LLM 기반 에이전트를 통합함으로써 SCM은 관련된 이전 정보를 동적으로 선택하고 삽입하여, ChatGPT와 같은 기준 모델 대비 장기적 추론 및 요약 성능을 크게 향상시킨다.

ABSTRACT

Large Language Models (LLMs) are constrained by their inability to process lengthy inputs, resulting in the loss of critical historical information. To address this limitation, in this paper, we propose the Self-Controlled Memory (SCM) framework to enhance the ability of LLMs to maintain long-term memory and recall relevant information. Our SCM framework comprises three key components: an LLM-based agent serving as the backbone of the framework, a memory stream storing agent memories, and a memory controller updating memories and determining when and how to utilize memories from memory stream. Additionally, the proposed SCM is able to process ultra-long texts without any modification or fine-tuning, which can integrate with any instruction following LLMs in a plug-and-play paradigm. Furthermore, we annotate a dataset to evaluate the effectiveness of SCM for handling lengthy inputs. The annotated dataset covers three tasks: long-term dialogues, book summarization, and meeting summarization. Experimental results demonstrate that our method achieves better retrieval recall and generates more informative responses compared to competitive baselines in long-term dialogues. (https://github.com/wbbeyourself/SCM4LLMs)

연구 동기 및 목표

• 맥락 창 제약 및 주의 계산 비용으로 인해 LLM이 초장거리 입력을 처리하는 데 한계를 가지는 문제를 해결하기 위해.
• 비판적인 역사적 정보를 잊지 않고 장기적 기억을 유지하고 검색할 수 있도록 하는 것.
• 모델 미세조정이나 아키텍처 수정 없이도 사용할 수 있는 플러그 앤 플레이 프레임워크를 개발하기 위해.
• 대화, 책 요약, 회의 요약과 같은 장기 맥락 작업에 프레임워크를 평가하기 위해.
• 장기 맥락 LLM 성능을 평가하기 위한 새로운 애너테이션된 데이터셋을 구축하기 위해.

제안 방법

• SCM 프레임워크는 LLM 기반 에이전트, 장기 기억을 저장하는 메모리 스트림, 동적 메모리 관리를 위한 메모리 컨트롤러로 구성된다.
• 입력 텍스트는 분할되어 반복적으로 처리되며, 메모리 컨트롤러는 메모리 스트림에서 관련된 메모리를 언제이고 어떻게 LLM 입력에 삽입할지를 결정한다.
• 두 가지 메모리 유형인 활성 메모리(장기)와 플래시 메모리(단기)를 사용하여 세그먼트 간 역사적 맥락을 유지할 수 있다.
• 메모리 검색 및 재조직은 메모리 컨트롤러가 비효율적 또는 노이즈가 많은 정보를 걸러내어 간섭을 줄이도록 이끈다.
• 여섯 단계 워크플로우를 활용한다: 입력 확보, 메모리 활성화, 메모리 검색, 메모리 재조직, 입력 융합, 응답 생성.
• 문서 세그먼트 간 관련 메모리를 전파함으로써 프레임워크는 계층적이고 반복적인 요약을 지원하여 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 모델 미세조정이나 모델 수정 없이도 플러그 앤 플레이 프레임워크가 LLM의 효과적 맥락 길이를 연장할 수 있는가?
• RQ2 메모리 컨트롤러가 관련된 이전 정보를 얼마나 효과적으로 선택하고 삽입하여 장기 맥락 이해를 향상시킬 수 있는가?
• RQ3 SCM 프레임워크는 기존 방법보다 장기 대화 및 문서 요약 작업에서 뛰어난 성능을 보일 수 있는가?
• RQ4 메모리 컨트롤러는 장기간 입력에서 역사적 노이즈의 영향을 어느 정도 줄일 수 있는가?
• RQ5 프레임워크는 초장거리 문서의 계층적 요약에서도 일관성을 유지할 수 있는가?

주요 결과

• SCM 프레임워크는 대화 최적화되지 않은 LLM인 text-davinci-003조차도 200,000 토큰이 넘는 입력에서도 ChatGPT 수준의 다중 턴 대화 기능을 구현할 수 있었다.
• 장기 문서 요약 작업에서 SCM 기반 모델은 일관성과 커버리지 측면에서 기준 모델을 능가했으며, 초장거리 입력(최대 200만 토큰)에서 요약 품질이 크게 향상되었다.
• 메모리 컨트롤러는 필요 최소한의 메모리만 선택적으로 삽입함으로써 노이즈를 효과적으로 줄였고, 장기 대화에서 검색 재현율과 응답의 정보량을 향상시켰다.
• 모델 미세조정 없이도 모든 세 가지 평가 과제—장기 대화, 책 요약, 회의 요약—에서 프레임워크가 뛰어난 성능을 보였다.
• 20,000에서 200만 토큰까지의 입력 크기를 포함하는 애너테이션된 데이터셋은 프레임워크가 표준 LLM 맥락 창을 훨씬 초월한 입력을 처리할 수 있음을 입증한다.
• SCM의 플러그 앤 플레이 성격 덕분에 지시어를 따르는 모든 LLM과 원활하게 통합 가능하여 확장성과 구현 가능성이 높아졌다.