[논문 리뷰] From Static to Dynamic: A Continual Learning Framework for Large Language Models

Mingzhe Du, Anh Tuan Luu외 2명|arXiv (Cornell University)|2023. 10. 22.

Topic Modeling인용 수 4

한 줄 요약

DynaMind는 파라미터 미세조정 없이도 대규모 언어모델(Large Language Models, LLMs)이 동적으로 새로운 지식을 통합할 수 있도록 해주는 지속적 학습 프레임워크이다. 지식 저장 및 검색을 위한 메모리 매니저와 추론을 위한 모듈러 연산자 모듈을 활용한다. 이는 복잡한 추론(예: GPT-4 기준 최대 92.5% 정확도), 신뢰도 인식(5 에포크 후 84.5% 신뢰 비율), 지식 조작(예: Falcon-40B가 74.0/100 점을 기록함) 등에서 LLM 성능을 크게 향상시킨다.

ABSTRACT

The vast number of parameters in large language models (LLMs) endows them with remarkable capabilities, allowing them to excel in a variety of natural language processing tasks. However, this complexity also presents challenges, making LLMs difficult to train and inhibiting their ability to continuously assimilate new knowledge, which may lead to inaccuracies in their outputs. To mitigate these issues, this paper presents DynaMind, a novel continual learning framework designed for LLMs. DynaMind incorporates memory mechanisms to assimilate new knowledge and modular operators to enhance the model inference process with the newly assimilated knowledge, consequently improving the accuracies of LLMs' outputs. Benchmark experiments demonstrate DynaMind's effectiveness in overcoming these challenges. The code and demo of DynaMind are available on GitHub: https://github.com/Elfsong/DynaMind.

연구 동기 및 목표

• 사전학습 이후 지속적으로 새로운 지식을 학습할 수 없는 제한성을 가진 대규모 언어모델(LLMs)의 정적 성격을 해결한다.
• 모델 파라미터의 미세조정 없이도 파라미터의 지속적 학습을 가능하게 하여 재앙적 기억 상실과 환각 현상을 완화한다.
• 메모리 증강형 모듈러 추론 아키텍처를 통해 인간과 유사한 지속적 학습 능력을 LLM에 부여한다.
• 장기 메모리 내에서 지식의 신뢰도 평가, 업데이트, 생성, 삭제를 자율적으로 수행할 수 있도록 LLM을 설계한다.
• 세 가지 핵심 능력—복잡한 추론, 신뢰도 인식, 지식 조작—에서 프레임워크의 효과성을 입증한다.

제안 방법

• 동적 지식 통합을 가능하게 하는 세 구성 요소 아키텍처인 추론 엔진, 메모리 매니저, 모듈러 연산자 도입.
• 작업 흐름 유지 및 연산자 실행 순서 제어를 위해 추론 엔진에서 선입선출(FIFO) 우선순위 큐 사용.
• 맥락적 관련성과 신뢰도 스코어링 기반으로 지식 저장, 검색, 업데이트를 수행하는 메모리 메커니즘 구현.
• LLM 출력에서 구조화된 템플릿을 활용한 프롬프트 엔지니어링을 통해 이해 가능한 명령어 튜플(operator, parameters) 생성.
• 대조적 검증을 통해 지속적으로 지식의 신뢰도를 평가하고 개선하는 지식 대사 과정 적용.
• 새로운 지식를 주입하고 통합 성능를 평가하기 위해 외부 지식 소스(WikiNews, SciFact, ComplexWebQA 등) 활용.

실험 결과

연구 질문

• RQ1 파라미터 없는 지속적 학습 프레임워크는 동적으로 확보한 지식을 활용해 LLM의 복잡한 다단계 추론 능력을 향상시킬 수 있는가?
• RQ2 DynaMind는 장기 메모리에 저장된 지식의 신뢰도를 자율적으로 평가하고 향상시킬 수 있는가? 그 정도는 어느 정도인가?
• RQ3 LLM의 파라미터를 수정하지 않고도 지식의 생성, 업데이트, 삭제를 얼마나 효과적으로 지원할 수 있는가?
• RQ4 메모리 증강 추론을 통해 DynaMind는 환각 현상을 완화하고 LLM 출력의 사실적 일관성을 향상시킬 수 있는가?
• RQ5 GPT-4, Falcon-40B, Llama-30B 등 다양한 LLM에서 DynaMind의 성능은 지속적 학습 작업에서 어떻게 비교되는가?

주요 결과

• DynaMind를 적용한 OpenAI GPT-4는 지식 기반 추론 과제(ComplexWebQA)에서 외부 메모리 없이 16.0%에서 92.5%의 정확도를 달성했다.
• 5 에포크의 지식 대사 과정을 거친 후 GPT-4는 원본 문장과 대조적 문장을 84.5%의 비율로 정확히 식별하여 강력한 신뢰도 인식 능력을 입증했다.
• Falcon-40B는 지식 삭제 성능에서 GPT-4를 초월하여 74.0/100 점을 기록했으며, GPT-4의 71.5점보다 높아 지식 정제 능력이 뛰어나다는 것을 보여주었다.
• DynaMind 덕분에 Falcon-40B는 지식 추론 과제에서 기존 17.5%의 기본 정확도를 뛰어넘어 85.0%의 정확도를 달성했다.
• 이 프레임워크는 추론 과정에서 저장된 맥락 기반 지식을 회상하고 활용할 수 있도록 해 환각 현상을 감소시켰다.
• 모델 크기가 4배 작아진 상태에서도 Falcon-40B는 3 에포크 기준 GPT-3.5의 성능(72.5% 대비 48.5%)을 따라잡아 효율성 향상을 입증했다.