[论文解读] Evaluating the Logical Reasoning Ability of ChatGPT and GPT-4

Hanmeng Liu, Ruoxi Ning+4 more|arXiv (Cornell University)|Apr 7, 2023

Topic Modeling被引用 103

一句话总结

本文在多项逻辑推理任务（多选阅读理解与自然语言推理）上对 ChatGPT 与 GPT-4 进行基准测试，覆盖流行与新数据集，提出 LogiEval，并分析性能差距，特别是在分布外数据上的表现。

ABSTRACT

Harnessing logical reasoning ability is a comprehensive natural language understanding endeavor. With the release of Generative Pretrained Transformer 4 (GPT-4), highlighted as "advanced" at reasoning tasks, we are eager to learn the GPT-4 performance on various logical reasoning tasks. This report analyses multiple logical reasoning datasets, with popular benchmarks like LogiQA and ReClor, and newly-released datasets like AR-LSAT. We test the multi-choice reading comprehension and natural language inference tasks with benchmarks requiring logical reasoning. We further construct a logical reasoning out-of-distribution dataset to investigate the robustness of ChatGPT and GPT-4. We also make a performance comparison between ChatGPT and GPT-4. Experiment results show that ChatGPT performs significantly better than the RoBERTa fine-tuning method on most logical reasoning benchmarks. With early access to the GPT-4 API we are able to conduct intense experiments on the GPT-4 model. The results show GPT-4 yields even higher performance on most logical reasoning datasets. Among benchmarks, ChatGPT and GPT-4 do relatively well on well-known datasets like LogiQA and ReClor. However, the performance drops significantly when handling newly released and out-of-distribution datasets. Logical reasoning remains challenging for ChatGPT and GPT-4, especially on out-of-distribution and natural language inference datasets. We release the prompt-style logical reasoning datasets as a benchmark suite and name it LogiEval.

研究动机与目标

• 在多样化数据集上评估 ChatGPT 与 GPT-4 在逻辑推理方面的能力。
• 与 RoBERTa 微调基线在多选阅读理解和 NLI 任务上比较表现。
• 研究对分布外数据的鲁棒性，以及提示设计与上下文对推理的影响。
• 介绍并推广 LogiEval 作为评测大语言模型的提示风格基准套件。

提出的方法

• 对两类任务类型进行评估：多选阅读理解和自然语言推理（NLI）。
• 以 RoBERTa-base 作为微调基线；与 ChatGPT 与 GPT-4 的 API/UI 输出进行比较。
• 对 ChatGPT 与 GPT-4 应用指令性提示方案，对 NLI 使用基于标签的提示，对 MC 阅读理解使用显式任务格式。
• 通过 GPT-4 的情境学习实验，评估在同一对话窗口内外的上下文示例对准确率的提升。
• 探索零-shot 链式思维提示对推理性能的影响。

实验结果

研究问题

• RQ1 ChatGPT 与 GPT-4 在既有逻辑推理基准（LogiQA、ReClor）以及较新数据集（AR-LSAT）上的表现如何？
• RQ2 这些模型在分布外数据上是否具备鲁棒的逻辑推理能力，且与 RoBERTa 基线相比如何？
• RQ3 提示设计、指令与上下文对 ChatGPT 与 GPT-4 的推理表现有何影响？
• RQ4 链式思维提示或对话上下文是否能在实践中提升 GPT-4 的逻辑推理能力？

主要发现

• ChatGPT 在许多知名的逻辑推理基准上超越 RoBERTa 基线，但在分布外数据（如 AR-LSAT、LogiQA 2.0 ood）上表现下降。
• GPT-4 在大多数数据集上通常比 ChatGPT 获得更高的准确率，但在分布外数据以及某些 NLI 任务上也出现显著下降。
• ChatGPT 与 GPT-4 在 LogiQA 与 ReClor 上表现相对较好，但在分布外和需要更深层推理的某些 NLI 数据集上仍有挑战。
• 情境学习有助于 GPT-4 在同一对话窗口内提高准确率；更多上下文示例出现时提升更明显（上下文窗口）。
• 零-shot 链式思维提示在应用于 GPT-4 时对 LogiQA 2.0 ood 的结果有所提升，显示出增强推理提示的潜力。
• LogiEval 作为一种提示风格的基准套件发布，用于评估基于提示的大型语言模型。