[论文解读] Evaluating LLMs on Document-Based QA: Exact Answer Selection and Numerical Extraction using Cogtale dataset

Zafaryab Rasool, Stefanus Kurniawan+8 more|arXiv (Cornell University)|Nov 14, 2023

Topic Modeling被引用 7

一句话总结

本文使用 CogTale 数据集，在零样本设置下评估了 GPT-4 和 GPT-3.5 在基于文档的问答任务中的表现，重点关注精确答案选择（单选题、是/否题、多选题）以及数值提取任务。GPT-4 在单选题和是/否题上表现优异，但在多选题和数值提取任务上性能显著下降，凸显了其在医疗元分析等关键应用中精确信息检索方面的局限性。

ABSTRACT

Document-based Question-Answering (QA) tasks are crucial for precise information retrieval. While some existing work focus on evaluating large language models performance on retrieving and answering questions from documents, assessing the LLMs performance on QA types that require exact answer selection from predefined options and numerical extraction is yet to be fully assessed. In this paper, we specifically focus on this underexplored context and conduct empirical analysis of LLMs (GPT-4 and GPT-3.5) on question types, including single-choice, yes-no, multiple-choice, and number extraction questions from documents in zero-shot setting. We use the CogTale dataset for evaluation, which provide human expert-tagged responses, offering a robust benchmark for precision and factual grounding. We found that LLMs, particularly GPT-4, can precisely answer many single-choice and yes-no questions given relevant context, demonstrating their efficacy in information retrieval tasks. However, their performance diminishes when confronted with multiple-choice and number extraction formats, lowering the overall performance of the model on this task, indicating that these models may not yet be sufficiently reliable for the task. This limits the applications of LLMs on applications demanding precise information extraction from documents, such as meta-analysis tasks. These findings hinge on the assumption that the retrievers furnish pertinent context necessary for accurate responses, emphasizing the need for further research. Our work offers a framework for ongoing dataset evaluation, ensuring that LLM applications for information retrieval and document analysis continue to meet evolving standards.

研究动机与目标

• 评估大语言模型（LLMs）在需要精确答案选择和数值提取的基于文档的问答任务中的表现。
• 评估 LLM 在真实应用场景（如医疗元分析）中的可靠性，其中精确的信息提取至关重要。
• 研究问题格式（尤其是多选题和数值提取）对 LLM 表现的影响。
• 利用 CogTale 数据集建立基准，该数据集提供了专家标注的、基于事实的响应，用于评估。
• 识别 LLM 能力中的差距，这些差距阻碍其在高风险、高精度要求的文档分析任务中的部署。

提出的方法

• 本研究使用 CogTale 数据集，其中包含从老年人认知干预试验中提取的结构化、专家标注的信息。
• 问题分为四类：单选题、是/否题、多选题和数值提取题，每类均要求从预定义选项中精确选择答案。
• 在零样本设置下评估 LLM（GPT-4 和 GPT-3.5），通过直接提示方式使用文档上下文和问题，不进行微调。
• 性能通过各类问题的精确匹配准确率进行衡量，并在不同模型和问题格式之间进行比较。
• 评估假设检索器已提供相关上下文，从而将 LLM 的表现隔离为答案生成能力，而非检索能力。
• 实验在 CogTale 平台中选取的 13 项研究上进行，以确保文档质量和领域特异性的一致性。

Figure 1: Question-Answering (QA) Framework using LLM for a document-based QA task.

实验结果

研究问题

• RQ1 LLM 在需要从预定义选项中精确选择答案的基于文档的问答任务中表现如何？
• RQ2 GPT-4 和 GPT-3.5 在单选题、是/否题、多选题和数值提取题上的表现差异有多大？
• RQ3 在零样本设置下，多选题和数值提取等问题格式在多大程度上对 LLM 构成挑战？
• RQ4 LLM 在临床和研究文档语境下的不同类型事实抽取任务中的表现有何差异？
• RQ5 先进的提示工程策略是否能提升 LLM 在多选题和数值提取等复杂问题格式上的表现？

主要发现

• GPT-4 在单选题和是/否题上取得了高准确率，展现出强大的上下文理解能力和答案选择的精确性。
• 多选题的表现显著下降，表明在从多个合理选项中选择正确答案方面存在困难。
• 数值提取任务的表现最弱，LLM 频繁无法识别或正确提取文档中的数值。
• GPT-3.5 的整体准确率低于 GPT-4，尤其在多选题和数值提取等复杂格式上表现更差。
• 尽管 GPT-4 表现更优，但其成本（26.54 美元）是 GPT-3.5-turbo（1.77 美元）的 15 倍，这引发了实际部署中的成本效益担忧。
• 本研究识别出 LLM 在高精度要求的应用（如系统性综述和元分析）中可靠性存在关键缺口，此类应用对事实的精确性要求极高。