[論文レビュー] Taqyim: Evaluating Arabic NLP Tasks Using ChatGPT Models

Zaid Alyafeai, Maged S. Alshaibani+4 more|arXiv (Cornell University)|Jun 28, 2023

Topic Modeling被引用数 9

ひとこと要約

この論文は七つのアラビア語NLPタスク（感情分析、翻訳、音訛化、言い換え、品詞タグ付け、要約、母音符号付け）におけるGPT-3.5とGPT-4を評価し、評価用の新しいTaqyim Pythonインターフェースを導入します。

ABSTRACT

Large language models (LLMs) have demonstrated impressive performance on various downstream tasks without requiring fine-tuning, including ChatGPT, a chat-based model built on top of LLMs such as GPT-3.5 and GPT-4. Despite having a lower training proportion compared to English, these models also exhibit remarkable capabilities in other languages. In this study, we assess the performance of GPT-3.5 and GPT-4 models on seven distinct Arabic NLP tasks: sentiment analysis, translation, transliteration, paraphrasing, part of speech tagging, summarization, and diacritization. Our findings reveal that GPT-4 outperforms GPT-3.5 on five out of the seven tasks. Furthermore, we conduct an extensive analysis of the sentiment analysis task, providing insights into how LLMs achieve exceptional results on a challenging dialectal dataset. Additionally, we introduce a new Python interface https://github.com/ARBML/Taqyim that facilitates the evaluation of these tasks effortlessly.

研究の動機と目的

• GPT-3.5とGPT-4の七つのアラビア語NLPタスクの性能を評価する。
• ChatGPTの結果をSoTAのアラビア語モデルと比較する。
• ダイアレクトデータの感情分析を詳細に分析し洞察を提供する。
• アラビア語NLP評価を促進するオープンソースのPythonインターフェースを開発・公開する。

提案手法

• タスク固有のプロンプトを用いたGPT-3.5およびGPT-4のゼロショット評価。
• それぞれのタスクにはEASC、AJGT、PADT、APB、UNv1、BOLT、WikiNewsのデータセットを使用。
• RougeL、Accuracy、BLEU、DERなどのタスク固有の評価指標を適用。
• 前処理および後処理の手順（例：ディアクリタイズウィンドウ処理、出力フォーマット制約）。
• シームレスな評価のためにforked OpenAI evalsライブラリをベースにしたPythonインターフェースを開発。

Figure 1: Taqyim Pipeline.

実験結果

リサーチクエスチョン

• RQ1 タスク固有の微調整を行わずに、GPT-3.5とGPT-4は七つのアラビア語NLPタスクでどのように性能を発揮するか？
• RQ2 GPT-4がGPT-3.5を上回るタスクはどれで、SoTAモデルとどこで乖離するか？
• RQ3 方言アラビア語の感情分析ケーススタディからどのような洞察が得られるか？
• RQ4 Python評価インターフェース（Taqyim）はアラビア語NLPタスクの評価をどのように簡素化・標準化できるか？

主な発見

タスク	データセット	テストサイズ	指標	GPT-3.5	GPT-4	SoTA
要約	EASC	153	RougeL	23.5	18.25	13.3
感情分析	AJGT	360	Accuracy	86.94	90.30	96.11
品詞タグ付け	PADT	680	Accuracy	75.91	86.29	96.83
言い換え	APB	1,010	BLEU	4.295	6.104	17.52
翻訳	UNv1	4,000	BLEU	35.05	38.83	53.29
音訳	BOLT	6,653	BLEU	13.76	27.66	65.88
ディアクリタイズ	WikiNews	393	DER	10.29	11.64	1.21

• ゼロショット設定で七つのタスクのうち五つでGPT-4がGPT-3.5を上回る。
• 要約およびディアクリタイズのタスクではGPT-3.5がGPT-4を超える。
• タスク固有の微調整モデルに比べ、GPT系モデルは一般的に遅れを取るが、要約では良好な性能を示す。
• ディアクリタイズの詳細な結果はWikiNews間でドメイン依存のパフォーマンスを示し、文化ドメインが比較的良好。
• 評価を容易にし、OpenAI evals、データセット、トークン管理と統合する新しいPythonライブラリTaqyimが公開される。

Figure 2: Prompts used for each task. The double curly braces {{}} indicate placeholders that are taken from the dataset to apply the prompt on.