[논문 리뷰] Information Association for Language Model Updating by Mitigating LM-Logical Discrepancy

Pengfei Yu, Heng Ji|arXiv (Cornell University)|2023. 05. 29.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 언어 모델-논리적 불일치를 줄이기 위해 자기 프롬프팅 기반의 질문-답변 생성과 연관성 distillation을 사용하는 새로운 자기정보 업데이트(SIU) 프레임워크를 제안한다. 이는 LLM 업데이트에서 사실 일관성과 일반화 능력을 향상시킨다. 이 방법은 사실 일관성 점수를 최대 0.16 증가시키며, 재현 버퍼 크기를 97.7% 줄여 치명적인 망각을 효과적으로 줄이고, 원래 학습 토큰의 2.3%만 사용한다.

ABSTRACT

Large Language Models~(LLMs) struggle with providing current information due to the outdated pre-training data. Existing methods for updating LLMs, such as knowledge editing and continual fine-tuning, have significant drawbacks in generalizability of new information and the requirements on structured updating corpus. We identify the core challenge behind these drawbacks: the LM-logical discrepancy featuring the difference between language modeling probabilities and logical probabilities. To evaluate and address the core challenge, we propose a new task formulation of the information updating task that only requires the provision of an unstructured updating corpus and evaluates the performance of information updating on the generalizability to question-answer pairs pertaining to the updating information. We further propose a novel and effective pipeline approach for the task, highlighting a self-prompting-based question-answer generation process and a associative distillation methods to bridge the LM-logical discrepancy. We develop two datasets for evaluation, one sourced from news articles published in March and April 2023, and the other from the Natural Questions benchmark. Experimental results demonstrate the superiority of our approach, significantly increasing the factual consistency score (on a scale from 0 to 1) by up to 0.16. Furthermore, our method effectively mitigates forgetting utilizing a compact replay buffer with only 2.3% of the training tokens.

연구 동기 및 목표

• 기존 LLM 업데이트 방법에서 구조화된 코퍼스가 필요로 하는 핵심 과제인 LM-논리적 불일치를 해결하기 위해.
• 뉴스 기사와 같은 비구조화된 코퍼스만으로도 업데이트가 가능한 새로운 작업 정의인 자기정보 업데이트(SIU)를 제안하기 위해.
• 구조화된 지식 트리플에 의존하지 않고 질문-답변 쌍 간의 사실 일관성과 일반화를 향상시키기 위해.
• 연관성 distillation을 통해 유도된 작고 효율적인 재현 버퍼를 사용하여 지속적 학습에서 치명적인 망각을 완화하기 위해.
• 비구조화된 업데이트 코퍼스에서의 방법 효과성과 다양한 텍스트 도메인에 대한 강인성을 평가하기 위해.

제안 방법

• 비구조화된 업데이트 코퍼스에서 자기 프롬프팅 기반 질문-답변 생성 과정을 도입하여 새로운 정보를 관련 맥락과 잘 연결할 수 있도록 한다.
• 언어 모델의 확률을 논리적 확률과 일치시키기 위해 연관성 distillation을 활용하여 사전 학습 데이터에 대한 노출 편향을 줄인다.
• 업데이트된 코퍼스에서 다시 생성된 답변을 통해 distillation을 수행함으로써 기존 지식을 유지하면서도 원래 토큰의 2.3%로 축소된 작고 효율적인 재현 버퍼를 사용한다.
• QA 생성과 distillation을 두 단계의 피니테인팅 과정에 통합한다: 첫 번째는 뉴스 데이터에서, 두 번째는 위키백과에서 수행되며, 새로운 정보와 이전 정보 모두에 대해 평가한다.
• 사실 일관성은 Zhong 등(2022)의 지표를 사용하여 평가하며, 선호도 일치보다 정보 획득에 중점을 둔다.
• 기존 지식 편집 및 지속적 피니테인팅 프레임워크와의 호환성을 고려하여 설계되어, 이들의 일반화 능력과 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비구조화된 코퍼스를 효과적으로 사용하면서도 높은 사실 일관성을 유지할 수 있는 언어 모델 업데이트 방법은 무엇인가?
• RQ2 LM-논리적 불일치는 LLM에서 업데이트된 정보의 일반화 능력을 어느 정도 제한하는가?
• RQ3 연관성 distillation은 노출 편향을 효과적으로 줄이고 새로운 정보를 관련 맥락과 잘 연결할 수 있는가?
• RQ4 기존 지식을 유지하고 치명적인 망각을 방지하기 위해 재현 버퍼는 어느 정도 작아질 수 있는가?
• RQ5 제안된 방법은 구조화된 편집 입력이 필요 없이 뉴스와 위키백과와 같은 다양한 텍스트 도메인에서도 일반화되는가?

주요 결과

• 제안된 방법은 0에서 1 사이의 척도에서 사실 일관성을 최대 0.16 향상시켜, 정보 일반화 능력에서 기존 기준 방법을 크게 능가한다.
• 연관성 distillation 과정을 통해 재현 버퍼 크기를 97.7% 감소시켰다: 원래 919,624 토큰에서 21,124 토큰으로 줄였으며, 이전 지식 성능은 유지되었다.
• 원래 학습 토큰의 2.3%에 불과한 재현 버퍼를 사용할 때 NQ 검증 세트에서 성능 저하가 미미하게 나타나, 망각 완화 능력이 뛰어나다는 것을 시사한다.
• 훈련 데이터에 명시적으로 포함되지 않은 질문-답변 쌍에 대해서도 업데이트된 정보를 효과적으로 일반화하여 사전 학습 데이터 의존도를 줄였다.
• 뉴스와 위키백과의 두 개의 서로 다른 업데이트 단계에서 강력한 성능 유지를 보이며 도메인 이동에 대한 강인성을 입증했다.
• 중간 크기의 업데이트 코퍼스에서도 효과적이며, 기존 편집 및 피니테인팅 프레임워크와의 통합 가능성도 보여, 잠재적인 응용 가능성이 높다.