[论文解读] If the Sources Could Talk: Evaluating Large Language Models for Research Assistance in History

Giselle González García, Christian Weilbach|arXiv (Cornell University)|Oct 16, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出通过整合来自专业历史资料的向量嵌入——如原始文献和二次学术文献——来增强大型语言模型（LLMs），以实现在历史研究中准确、对话式的辅助研究。通过使用经过筛选的同行评审语料库对 LLM 进行提示，该方法实现了对结构化数据（例如家谱记录）的高保真提取以及高效的问答，与标准 LLM 使用方式相比，显著减少了幻觉现象，并提高了来源可追溯性。

ABSTRACT

The recent advent of powerful Large-Language Models (LLM) provides a new conversational form of inquiry into historical memory (or, training data, in this case). We show that by augmenting such LLMs with vector embeddings from highly specialized academic sources, a conversational methodology can be made accessible to historians and other researchers in the Humanities. Concretely, we evaluate and demonstrate how LLMs have the ability of assisting researchers while they examine a customized corpora of different types of documents, including, but not exclusive to: (1). primary sources, (2). secondary sources written by experts, and (3). the combination of these two. Compared to established search interfaces for digital catalogues, such as metadata and full-text search, we evaluate the richer conversational style of LLMs on the performance of two main types of tasks: (1). question-answering, and (2). extraction and organization of data. We demonstrate that LLMs semantic retrieval and reasoning abilities on problem-specific tasks can be applied to large textual archives that have not been part of the its training data. Therefore, LLMs can be augmented with sources relevant to specific research projects, and can be queried privately by researchers.

研究动机与目标

• 探究通过整合特定领域的、经过同行评审的资料，LLM 是否能有效用作历史研究的对话式研究助手。
• 通过将回答基于经过审核的历史语料库，减少 LLM 输出中的幻觉现象，提升事实可靠性。
• 评估 LLM 在结构化数据提取任务（如家谱记录的表格化处理）中的表现，使用原始文献和二次文献作为数据源。
• 证明私有的、基于来源增强的 LLM 可在不依赖专有 API 的情况下，支持敏感或机密研究。
• 探索在人文科学领域使用开源 LLM 进行学术研究的可行性，特别是在本地设备或非 GPU 硬件上运行。

提出的方法

• 将预训练的 LLM（如 ChatGPT）与经过筛选的历史资料中的向量嵌入相结合，包括原始文献和学术性二次文献。
• 使用检索增强生成（RAG）技术，在推理过程中将相关来源片段注入 LLM 的上下文窗口。
• 设计结构化提示，从非结构化历史文本中提取表格化数据，例如从《Cuban Family Histories》（*Historia de Familias Cubanas*）中提取家谱记录。
• 利用 LLM 的预训练知识推断西班牙语姓名中的性别，结果与已知数据进行验证。
• 使用人工验证的参考数据，评估问答和数据提取任务中的性能表现。
• 对比不同 LLM 的表现，包括 GPT-3.5 和 Claude 2，重点关注上下文窗口大小与推理准确性。

Figure 1 : Interaction between a Human and an LLM in form of a conversation. The human optionally supplies a single source text document for the LLM to read first. The LLM can also retrieve text chunks from a vector database filled from a corpus of source documents. Dashed lines denote optional depe

实验结果

研究问题

• RQ1 当结合特定领域的语料库时，LLM 是否能提供可靠且基于来源的历史研究辅助？
• RQ2 LLM 从非结构化历史文本中提取结构化数据（如出生、死亡、结婚日期）的准确性如何？
• RQ3 LLM 在无显式性别标签的情况下，对历史文献中西班牙语姓名推断性别的程度如何？
• RQ4 来源增强如何减少幻觉现象，并提升 LLM 生成回答的事实可靠性？
• RQ5 当使用学术资料进行微调后，开源 LLM 是否能在学术研究任务中达到与 ChatGPT 等专有模型相当的性能？

主要发现

• ChatGPT 从《Cuban Family Histories》的 9 卷本中成功将家谱结构化数据提取为表格，准确率超过 95%，仅在少数复杂姓名结构（如使用 'y' 连接词）的条目中遗漏了部分信息。
• 基于姓名惯例，模型正确推断出 18 位个体中的 17 位性别，18 次推断中仅出现一次错误。
• 在所有提取的日期中，仅有一例出生日期推断错误，表明时间数据提取的错误率极低。
• 尽管仅在 7% 的非英文数据上进行训练，GPT-3.5 在西班牙语任务中仍表现出色，能够准确翻译和理解西班牙语历史文献。
• 来源增强提示显著减少了幻觉现象，通过将回答锚定在经过审核的同行评审语料库中，提升了可追溯性与可靠性。
• 开源 LLM 在私有、本地设备研究应用中展现出巨大潜力，尤其在 Claude 2 等模型日益支持更大上下文窗口的背景下。

(a) Word cloud of the 9 volumes of Historia de Familias Cubanas by Francisco Javier de Santa Cruz [ 9 ] showing the word frequency and the regularity of names and expressions. Made by the authors with VoyantTools.