[论文解读] Evaluating ChatGPT as a Question Answering System: A Comprehensive Analysis and Comparison with Existing Models

Hossein Bahak, Farzaneh Taheri+2 more|arXiv (Cornell University)|Dec 11, 2023

Topic Modeling被引用 7

一句话总结

本文使用 SQuAD、NewsQA 和 PersianQuAD 数据集，以英语和波斯语评估了 ChatGPT 作为问答系统（QAS）的表现。研究发现，尽管 ChatGPT 在简单事实性问题上表现良好，但与专用任务模型相比表现较差，尤其是在复杂的问题（如 'how' 和 'why' 类问题）上，且当答案不在上下文之中时，其幻觉现象显著。不过，通过提示工程和提供上下文，其性能有所提升。

ABSTRACT

In the current era, a multitude of language models has emerged to cater to user inquiries. Notably, the GPT-3.5 Turbo language model has gained substantial attention as the underlying technology for ChatGPT. Leveraging extensive parameters, this model adeptly responds to a wide range of questions. However, due to its reliance on internal knowledge, the accuracy of responses may not be absolute. This article scrutinizes ChatGPT as a Question Answering System (QAS), comparing its performance to other existing QASs. The primary focus is on evaluating ChatGPT's proficiency in extracting responses from provided paragraphs, a core QAS capability. Additionally, performance comparisons are made in scenarios without a surrounding passage. Multiple experiments, exploring response hallucination and considering question complexity, were conducted on ChatGPT. Evaluation employed well-known Question Answering (QA) datasets, including SQuAD, NewsQA, and PersianQuAD, across English and Persian languages. Metrics such as F-score, exact match, and accuracy were employed in the assessment. The study reveals that, while ChatGPT demonstrates competence as a generative model, it is less effective in question answering compared to task-specific models. Providing context improves its performance, and prompt engineering enhances precision, particularly for questions lacking explicit answers in provided paragraphs. ChatGPT excels at simpler factual questions compared to "how" and "why" question types. The evaluation highlights occurrences of hallucinations, where ChatGPT provides responses to questions without available answers in the provided context.

研究动机与目标

• 评估 ChatGPT 在从给定上下文段落中提取答案方面作为问答系统（QAS）的有效性。
• 比较 ChatGPT 在事实性与非事实性问题类型上的表现，与专用问答模型的差异。
• 研究上下文、提示工程和问题复杂度对回答准确率和幻觉率的影响。
• 评估当提供的上下文中不存在答案时，ChatGPT 中幻觉现象的普遍性。
• 使用标准问答指标，分析在多语言数据集（包括英语（SQuAD、NewsQA）和波斯语（PersianQuAD））上的表现。

提出的方法

• 使用标准问答（QA）数据集对 ChatGPT 进行评估：SQuAD 1.1、SQuAD 2.0、NewsQA 和 PersianQuAD。
• 应用标准评估指标：F1 分数、精确匹配（EM）和召回率，以衡量答案准确性和跨度精确度。
• 在两种设置下进行实验：有上下文段落和无上下文段落，以评估对上下文的依赖性。
• 使用问题与答案之间的 Jaccard 相似度来量化问题难度，并分析在不同相似度水平下的表现。
• 实施两步提示工程以提高精度，尤其针对上下文中缺乏明确答案的问题。
• 分析不同问题类型下的响应模式，包括事实性（事实性）问题和非事实性（推理型）问题。

Figure 1: The architecture of the evaluation framework

实验结果

研究问题

• RQ1 当提供上下文时，ChatGPT 在问答任务中的表现与专用模型相比如何？
• RQ2 提供上下文段落在多大程度上能提升 ChatGPT 的回答准确率并减少幻觉？
• RQ3 问题复杂度（通过问题与答案之间的 Jaccard 相似度衡量）如何影响 ChatGPT 在不同数据集上的 F1 分数？
• RQ4 当提供的上下文中不存在答案时，ChatGPT 的幻觉发生率是多少？
• RQ5 简单事实性问题与复杂 'how' 和 'why' 问题之间的表现有何差异？

主要发现

• 在 SQuAD 1.1 数据集中，当 Jaccard 相似度为 0.5 时，ChatGPT 达到最高 F1 分数 0.83，表明在中等复杂度下表现最佳。
• 在 SQuAD 2.0 中，当 Jaccard 相似度为 0.3 时，ChatGPT 的最大 F1 分数为 0.78，表明其在相似度较低、更复杂的问题上表现更强。
• 在 PersianQuAD 数据集中，当 Jaccard 相似度为 0.09 时，ChatGPT 达到峰值 F1 分数 0.78，表明其具备处理低相似度、复杂查询的能力。
• 在 NewsQA 中，F1 分数随难度增加呈现周期性变化，表明难度与性能之间不存在单调关系。
• ChatGPT 在简单事实性问题上的准确率高于 'how' 和 'why' 类问题，后者需要更深层次的推理与推断。
• 当提供的上下文中不存在答案时，常观察到幻觉现象，模型会生成看似合理但错误的回答。

Figure 2: Histogram of computed evaluation metrics across various question types within the SQuAD 1.1 dataset