[논문 리뷰] MemoChat: Tuning LLMs to Use Memos for Consistent Long-Range Open-Domain Conversation

Junru Lu, Siyu An외 6명|arXiv (Cornell University)|2023. 08. 16.

Topic Modeling인용 수 5

한 줄 요약

MemoChat는 대규모 언어 모델(Large Language Models, LLMs)이 반복적인 기억 저장-검색-응답 사이클을 통해 자체적으로 구성한 구조화된 메모를 생성하고 활용함으로써 장기적이고 개방형 도메인 대화에서 일관성을 유지할 수 있도록 하는 지시 테이닝 파이프라인을 소개한다. 전문가가 애너테이션한 벤치마크에서 평가된 결과, MemoChat는 특히 장기적 기억력과 다중 주제 이해 작업에서 ChatGPT 및 GPT-4와 같은 강력한 베이스라인을 뛰어넘는 응답 일관성 향상을 보였다.

ABSTRACT

We propose MemoChat, a pipeline for refining instructions that enables large language models (LLMs) to effectively employ self-composed memos for maintaining consistent long-range open-domain conversations. We demonstrate a long-range open-domain conversation through iterative "memorization-retrieval-response" cycles. This requires us to carefully design tailored tuning instructions for each distinct stage. The instructions are reconstructed from a collection of public datasets to teach the LLMs to memorize and retrieve past dialogues with structured memos, leading to enhanced consistency when participating in future conversations. We invite experts to manually annotate a test set designed to evaluate the consistency of long-range conversations questions. Experiments on three testing scenarios involving both open-source and API-accessible chatbots at scale verify the efficacy of MemoChat, which outperforms strong baselines. Our codes, data and models are available here: https://github.com/LuJunru/MemoChat.

연구 동기 및 목표

• 입력 컨텍스트의 한계를 넘어서 기억 유지에 어려움을 겪는 장기적이고 개방형 도메인 대화에서 맥락 일관성을 유지를 위한 과제를 해결하기 위해.
• 외부 메모리 모듈이나 검색 시스템에 의존하지 않고, 대화 도중에 LLM이 자율적으로 구조화된 메모를 생성하고 활용할 수 있도록 하기 위해.
• 메모 작성, 메모 검색, 메모 기반 응답 생성이라는 세 가지 핵심 작업을 수행하도록 LLM을 지도 훈련하는 가용성 있는 파이프라인을 개발하기 위해.
• 특히 주제 전환과 장기적 질문에 대한 이해 능력에 초점을 맞춰 일관성 측정을 위한 표준화된 전문가 애너테이션 기반 평가 벤치마크를 구축하기 위해.
• 효율적인 지시 훈련을 통해 파이프라인에 액세스 가능한 모델(GPT-4 등)과 비교해도 성능이 유사하거나 이를 초월하는 오픈소스 LLM을 미세조정할 수 있음을 입증하기 위해.

제안 방법

• 장기적 대화를 체계화하기 위해 '기억 저장-검색-응답' 루프를 기반으로 한 세 단계 파이프라인(기억 저장, 검색, 응답)을 설계한다.
• 공개 데이터셋에서 작업 특화 지시문을 재구성하여 LLM을 미세조정함으로써 이전 대화 턴을 요약하는 메모 작성, 새로운 질의에 적합한 메모를 찾는 메모 검색, 메모를 고려한 응답 생성을 수행하도록 유도한다.
• 구조화된 메모 형식(예: 주제 + 핵심 포인트)을 사용하여 검색 정확도를 향상시키고 장기적 맥락에서의 환각 현상을 줄인다.
• 수집된 지시 데이터를 사용해 지도 미세조정을 통해 오픈소스 LLMs(Vicuna, T5 등)와 API 접근 가능한 모델(예: ChatGPT, GPT-4 등)을 모두 훈련시킨다.
• LLM 평가자(판사)를 활용해 전문가가 애너테이션한 테스트 세트에서 세 가지 유형의 장기적 질문(회상, 연결, 다중 턴 주제 기억)에 대해 응답 일관성 수준을 평가한다.
• 기본 성능을 평가하기 위해 제로샷 및 피셔샷 프롬프팅을 적용하고, MPC-ChatGPT 및 MemoryBank-ChatGPT와 같은 강력한 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 LLM은 자율적으로 구조화된 메모를 생성하고 활용함으로써 장기적이고 개방형 도메인 대화에서 일관성을 유지할 수 있도록 효과적으로 미세조정될 수 있는가?
• RQ2 지시 훈련을 받은 LLM은 기억 회상 필요성이 있는 장기적이고 다중 주제의 질문을 다룰 때 ChatGPT, GPT-4와 같은 강력한 베이스라인과 비교해 어떤 성능을 보이는가?
• RQ3 모델 규모와 미세조정 데이터 크기가 메모 기반 추론을 학습하고 적용하는 데 있어 LLM의 능력에 어떤 영향을 미치는가?
• RQ4 외부 도구 없이 순수하게 LLM 내부에서 작동하는 파이프라인은 외부 검색 또는 메모리 모듈을 사용하는 시스템과 비교해 유사한 성능을 낼 수 있는가?
• RQ5 제안된 전문가가 애너테이션한 평가 세트는 다양한 장기적 대화 시나리오에서 응답 일관성 측정에 얼마나 효과적인가?

주요 결과

• MemoChat는 장기적 질문에 대한 응답 일관성에서 MPC-ChatGPT 및 MemoryBank-ChatGPT와 같은 강력한 베이스라인을 평균 7.0에서 19.5점 이상 뛰어넘었다.
• MemoChat-Vicuna-13B(1k 샘플로 미세조정)는 회상 질문에서 64.78의 응답 일관성 점수를 기록했으며, 더 큰 MemoChat-Vicuna-33B(1k)보다 3.3점 높아, 더 작은 데이터로도 더 우수한 일반화 능력을 보여주었다.
• 완전히 미세조정된 오픈소스 모델들(예: MemoChat-Vicuna-33B, 10k 샘플)은 평균적으로 ChatGPT-2k와 GPT-4 모두를 초월했으며, ChatGPT-2k보다 평균 9.7점 높은 일관성 점수를 기록했다.
• 사례 연구 결과, MemoChat-ChatGPT는 독점 금지법과 기계 학습 간의 관련성을 정확히 연결한 반면, ChatGPT-2k는 질문을 완전히 잘못 이해했다. 이는 향상된 다중 주제 추론 능력을 보여준다.
• MemoChat-Vicuna-33B(10k)는 복잡한 연결 질문에서 LLM 평가자 점수 90을 기록했으며, GPT-4의 100점과 비교해도 강력한 성능을 보였다. 이는 다단계 추론 능력이 뛰어나다는 것을 시사한다.
• 단지 1k개의 훈련 샘플로도, MemoChat-Vicuna-13B와 같은 더 큰 모델은 메모 작성 및 검색 작업에서 더 작은 모델보다 15~30점의 성능 격차를 보였으며, 이는 강력한 소수 샘플 학습 능력을 보여준다.