[论文解读] Information Association for Language Model Updating by Mitigating LM-Logical Discrepancy

Pengfei Yu, Heng Ji|arXiv (Cornell University)|May 29, 2023

Topic Modeling被引用 4

一句话总结

本文提出了一种新颖的自信息更新（SIU）框架，通过基于自我提示的问答生成与关联蒸馏，缓解语言模型与逻辑之间的不一致，从而提升大语言模型更新过程中的事实一致性与泛化能力。该方法将事实一致性得分最高提升0.16，同时将回放缓冲区大小减少97.7%，仅使用原始训练标记的2.3%即可有效缓解灾难性遗忘。

ABSTRACT

Large Language Models~(LLMs) struggle with providing current information due to the outdated pre-training data. Existing methods for updating LLMs, such as knowledge editing and continual fine-tuning, have significant drawbacks in generalizability of new information and the requirements on structured updating corpus. We identify the core challenge behind these drawbacks: the LM-logical discrepancy featuring the difference between language modeling probabilities and logical probabilities. To evaluate and address the core challenge, we propose a new task formulation of the information updating task that only requires the provision of an unstructured updating corpus and evaluates the performance of information updating on the generalizability to question-answer pairs pertaining to the updating information. We further propose a novel and effective pipeline approach for the task, highlighting a self-prompting-based question-answer generation process and a associative distillation methods to bridge the LM-logical discrepancy. We develop two datasets for evaluation, one sourced from news articles published in March and April 2023, and the other from the Natural Questions benchmark. Experimental results demonstrate the superiority of our approach, significantly increasing the factual consistency score (on a scale from 0 to 1) by up to 0.16. Furthermore, our method effectively mitigates forgetting utilizing a compact replay buffer with only 2.3% of the training tokens.

研究动机与目标

• 为解决语言模型与逻辑不一致这一核心挑战，该挑战限制了现有大语言模型更新方法的泛化能力，并要求使用结构化语料库。
• 提出一种新的任务范式——自信息更新（SIU），使模型能够仅使用非结构化语料库（如新闻文章）进行更新。
• 在不依赖结构化知识三元组的前提下，提升问答对中更新信息的事实一致性与泛化能力。
• 通过关联蒸馏生成的紧凑回放缓冲区，减轻持续学习中的灾难性遗忘。
• 在非结构化更新语料上评估该方法的有效性，并检验其在不同文本领域中的鲁棒性。

提出的方法

• 该方法引入基于自我提示的问答生成过程，从非结构化更新语料中生成问答对，从而更好地将新信息与相关上下文关联。
• 采用关联蒸馏，使语言模型的概率分布与逻辑概率对齐，降低对预训练数据的暴露偏差。
• 通过蒸馏和重新生成更新语料中的答案，将回放缓冲区压缩至原始标记的2.3%，从而保留过去知识。
• 该流程采用两阶段微调：首先在新闻数据上进行，然后在维基百科上进行，评估涵盖新信息与旧信息。
• 事实一致性采用Zhong等人（2022）提出的度量标准，强调信息获取而非偏好对齐。
• 该方法设计为与现有知识编辑和持续微调框架兼容，从而增强其泛化能力与效率。

实验结果

研究问题

• RQ1 如何在保持高事实一致性的同时，有效利用非结构化语料对语言模型进行更新？
• RQ2 语言模型与逻辑不一致在多大程度上限制了大语言模型中更新信息的泛化能力？
• RQ3 关联蒸馏是否能有效降低暴露偏差，并改善模型将新信息与相关上下文关联的能力？
• RQ4 在仍能保留过去知识并防止灾难性遗忘的前提下，回放缓冲区可缩小至多小？
• RQ5 所提出的方法是否能在不同文本领域（如新闻与维基百科）之间泛化，而无需结构化编辑输入？

主要发现

• 所提方法在0至1的尺度上，将事实一致性得分最高提升0.16，显著优于基线方法在信息泛化方面的表现。
• 关联蒸馏过程将所需回放缓冲区大小减少97.7%，从919,624降至21,124个标记，同时保持对过去知识的性能。
• 当仅使用原始训练标记2.3%的回放缓冲区时，模型在NQ验证集上的性能仅出现轻微下降，表明其具有强大的遗忘缓解能力。
• 该方法能有效将更新信息泛化至训练数据中未明确包含的问答对，降低对预训练数据的依赖。
• 该方法在两个不同更新阶段（新闻与维基百科）中均保持强劲性能，展现出对领域偏移的鲁棒性。
• 该方法在中等规模更新语料下依然有效，并展现出与现有编辑与微调框架集成的潜力。