[论文解读] Taqyim: Evaluating Arabic NLP Tasks Using ChatGPT Models

Zaid Alyafeai, Maged S. Alshaibani+4 more|arXiv (Cornell University)|Jun 28, 2023

Topic Modeling被引用 9

一句话总结

本论文在七个阿拉伯语NLP任务上评估GPT-3.5和GPT-4（情感分析、翻译、音译、改写、词性标注、摘要、标注元音符号），并介绍用于评估的Taqyim Python界面。

ABSTRACT

Large language models (LLMs) have demonstrated impressive performance on various downstream tasks without requiring fine-tuning, including ChatGPT, a chat-based model built on top of LLMs such as GPT-3.5 and GPT-4. Despite having a lower training proportion compared to English, these models also exhibit remarkable capabilities in other languages. In this study, we assess the performance of GPT-3.5 and GPT-4 models on seven distinct Arabic NLP tasks: sentiment analysis, translation, transliteration, paraphrasing, part of speech tagging, summarization, and diacritization. Our findings reveal that GPT-4 outperforms GPT-3.5 on five out of the seven tasks. Furthermore, we conduct an extensive analysis of the sentiment analysis task, providing insights into how LLMs achieve exceptional results on a challenging dialectal dataset. Additionally, we introduce a new Python interface https://github.com/ARBML/Taqyim that facilitates the evaluation of these tasks effortlessly.

研究动机与目标

• 评估 GPT-3.5 和 GPT-4 在七个阿拉伯语 NLP 任务上的表现。
• 将 ChatGPT 的结果与最先进的阿拉伯语模型（SoTA）进行对比。
• 深入分析情感分析，并为方言数据提供见解。
• 开发并发布一个开源的 Python 接口，以推动阿拉伯语 NLP 评估。

提出的方法

• 对七个任务进行零-shot评估，使用任务特定提示。
• 针对各自任务使用数据集 EASC、AJGT、PADT、APB、UNv1、BOLT、WikiNews。
• 应用任务特定评估指标（RougeL、Accuracy、BLEU、DER）。
• 提供预处理和后处理步骤（例如音标标注窗口、输出格式约束）。
• 开发一个基于分叉的 OpenAI evals 库的 Python 接口，以实现无缝评估。

Figure 1: Taqyim Pipeline.

实验结果

研究问题

• RQ1 在无需任务特定微调的情况下，GPT-3.5 和 GPT-4 在七个阿拉伯语 NLP 任务中的表现如何？
• RQ2 哪些任务中 GPT-4 超越 GPT-3.5，在哪些方面与 SoTA 模型存在差异？
• RQ3 基于方言阿拉伯语的详细情感分析案例研究可以获得哪些洞见？
• RQ4 如何通过 Python 评估界面（Taqyim）简化并标准化阿拉伯语 NLP 任务评估？

主要发现

Task	Dataset	Test Size	Metric	GPT-3.5	GPT-4	SoTA
摘要	EASC	153	RougeL	23.5	18.25	13.3
情感分析	AJGT	360	Accuracy	86.94	90.30	96.11
词性标注	PADT	680	Accuracy	75.91	86.29	96.83
改写	APB	1,010	BLEU	4.295	6.104	17.52
翻译	UNv1	4,000	BLEU	35.05	38.83	53.29
音译	BOLT	6,653	BLEU	13.76	27.66	65.88
音标化	WikiNews	393	DER	10.29	11.64	1.21

• GPT-4 在七项任务中的五项以零-shot 设置优于 GPT-3.5。
• GPT-3.5 在摘要和标注音标任务上超过 GPT-4。
• 基于GPT的模型通常落后于任务特定微调模型，除了在摘要方面表现良好。
• 详细的音标标注结果揭示 WikiNews 的领域相关表现，文化领域相对较好。
• 一种新颖的 Python 库 Taqyim 发布，旨在简化评估并与 OpenAI evals、数据集和标记管理集成。

Figure 2: Prompts used for each task. The double curly braces {{}} indicate placeholders that are taken from the dataset to apply the prompt on.