[论文解读] A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity

Yejin Bang, Samuel Cahyawijaya+11 more|arXiv (Cornell University)|Feb 8, 2023

Topic Modeling被引用 352

一句话总结

本文提出一个零样本、多任务、跨语言、跨模态的基准框架，在23个数据集（8个任务）上评估ChatGPT，揭示其在零样本多任务方面的优势以及在低资源语言、推理可靠性、幻觉现象以及互动性收益方面的局限性。

ABSTRACT

This paper proposes a framework for quantitatively evaluating interactive LLMs such as ChatGPT using publicly available data sets. We carry out an extensive technical evaluation of ChatGPT using 23 data sets covering 8 different common NLP application tasks. We evaluate the multitask, multilingual and multi-modal aspects of ChatGPT based on these data sets and a newly designed multimodal dataset. We find that ChatGPT outperforms LLMs with zero-shot learning on most tasks and even outperforms fine-tuned models on some tasks. We find that it is better at understanding non-Latin script languages than generating them. It is able to generate multimodal content from textual prompts, via an intermediate code generation step. Moreover, we find that ChatGPT is 63.41% accurate on average in 10 different reasoning categories under logical reasoning, non-textual reasoning, and commonsense reasoning, hence making it an unreliable reasoner. It is, for example, better at deductive than inductive reasoning. ChatGPT suffers from hallucination problems like other LLMs and it generates more extrinsic hallucinations from its parametric memory as it does not have access to an external knowledge base. Finally, the interactive feature of ChatGPT enables human collaboration with the underlying LLM to improve its performance, i.e, 8% ROUGE-1 on summarization and 2% ChrF++ on machine translation, in a multi-turn "prompt engineering" fashion. We also release codebase for evaluation set extraction.

研究动机与目标

• 评估ChatGPT在多样化NLP任务（摘要、翻译、情感分析、问答、对话、错误信息）以及多语言设置下的零样本性能。
• 利用代码作为连接视觉与语言的中介媒介，评估ChatGPT的多模态能力。
• 在多轮提示中量化ChatGPT的推理、事实性/幻觉以及互动性效应。
• 在所提出的框架内研究GPT-4并将其性能与ChatGPT进行比较。
• 为研究人员提供公开可重复的评估协议和数据集访问。

提出的方法

• 汇总涵盖8个NLP任务的23个公开数据集在零样本设置下的结果。
• 通过将语言分组为高资源/中等资源/低资源/极低资源来评估多语言性。
• 通过基于代码的SVG绘图任务来模拟视觉与语言的交互，探索多模态能力。
• 使用精选的问答数据集在10个类别上评估推理（包括演绎、归纳、溯因、时序、空间、数学、因果和常识推理）。
• 使用COVID相关数据集和TruthfulQA基准来衡量事实性与幻觉。
• 通过在摘要、翻译和多模态生成任务中的多轮提示来考察互动性。

实验结果

研究问题

• RQ1 ChatGPT在23个数据集、8个任务的零样本多任务评估中表现如何？
• RQ2 在多语言理解与生成方面，特别是对低资源语言，ChatGPT的优势与劣势是什么？
• RQ3 ChatGPT的中间代码表示是否能够在文本与视觉之间实现多模态能力？
• RQ4 ChatGPT在各类推理类别和数据集中的推理可靠性有多高？
• RQ5 互动式提示（多轮）在多大程度上提升ChatGPT在摘要、翻译和多模态任务上的表现？

主要发现

• ChatGPT在9/13个数据集上优于先前的零样本模型，在某些任务上甚至可超越部分微调模型。
• 在极低资源语言和非拉丁字母脚本上的表现下降，尤其在翻译方面。
• 在归纳推理、多跳推理、空间推理和数学推理方面存在弱点，而常识推理相对较强。
• 幻觉现象仍然存在，跨任务可见外在的不准确性；在社会性陈述上观察到对某些事实的拒绝核验。
• 互动式多轮提示带来可衡量的提升（例如摘要中的ROUGE-1提升8%，翻译中的ChrF++提升2%），并实现类似提示工程的改进。
• GPT-4在许多任务上通常与或超过ChatGPT，在归纳、数学、多跳、时序和空间推理方面有显著提升。