[论文解读] BenLLMEval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP

Mohsinul Kabir, Mohammed Saidul Islam+4 more|arXiv (Cornell University)|Sep 22, 2023

Topic Modeling被引用 4

一句话总结

本文提出了 BenLLMEval，对大型语言模型（LLMs）在孟加拉语自然语言处理（NLP）任务中的零样本性能进行了全面评估，涵盖文本摘要、问答和情感分析等任务。尽管在部分任务上表现良好，但像 LLaMA-2-13b-chat 这类开源 LLM 在性能上显著低于最先进的微调模型，凸显了低资源语言能力方面的关键差距，并强调了针对孟加拉语 NLP 进行针对性改进的必要性。

ABSTRACT

Large Language Models (LLMs) have emerged as one of the most important breakthroughs in NLP for their impressive skills in language generation and other language-specific tasks. Though LLMs have been evaluated in various tasks, mostly in English, they have not yet undergone thorough evaluation in under-resourced languages such as Bengali (Bangla). To this end, this paper introduces BenLLM-Eval, which consists of a comprehensive evaluation of LLMs to benchmark their performance in the Bengali language that has modest resources. In this regard, we select various important and diverse Bengali NLP tasks, such as text summarization, question answering, paraphrasing, natural language inference, transliteration, text classification, and sentiment analysis for zero-shot evaluation of popular LLMs, namely, GPT-3.5, LLaMA-2-13b-chat, and Claude-2. Our experimental results demonstrate that while in some Bengali NLP tasks, zero-shot LLMs could achieve performance on par, or even better than current SOTA fine-tuned models; in most tasks, their performance is quite poor (with the performance of open-source LLMs like LLaMA-2-13b-chat being significantly bad) in comparison to the current SOTA results. Therefore, it calls for further efforts to develop a better understanding of LLMs in modest-resourced languages like Bengali.

研究动机与目标

• 评估大型语言模型在资源匮乏的孟加拉语 NLP 任务中的零样本能力。
• 在多种孟加拉语 NLP 任务上对主流 LLM（GPT-3.5、LLaMA-2-13b-chat 和 Claude-2）进行基准测试。
• 将零样本 LLM 性能与孟加拉语中的最先进微调模型进行比较。
• 识别当前 LLM 在低资源语言环境（如孟加拉语）下的优势与局限性。
• 为未来提升低资源语言 LLM 性能的研究提供基础。

提出的方法

• 本研究构建了一个涵盖七项多样化孟加拉语 NLP 任务的基准测试套件：文本摘要、问答、释义、自然语言蕴含、音译、文本分类和情感分析。
• 采用零样本推理对 GPT-3.5、LLaMA-2-13b-chat 和 Claude-2 进行评估，且未在孟加拉语数据上进行微调。
• 评估采用标准指标，如摘要任务使用 ROUGE，问答任务使用 F1，分类任务使用准确率。
• 该基准设计旨在反映现实世界的多样性，并挑战 LLM 在低资源环境下的泛化能力。
• 通过与现有最先进微调模型的性能对比，评估零样本迁移能力。

实验结果

研究问题

• RQ1 主要 LLM 在多样化的孟加拉语 NLP 任务中，其零样本设置下的表现如何？
• RQ2 零样本 LLM 在孟加拉语任务中在多大程度上能够匹配或超越最先进的微调模型？
• RQ3 为何像 LLaMA-2-13b-chat 这类开源 LLM 在孟加拉语基准测试中表现不佳，尽管其在英语任务上表现强劲？
• RQ4 当应用于低资源语言（如孟加拉语）时，LLM 的关键失败模式是什么？
• RQ5 可以得出哪些启示，以指导未来针对资源匮乏语言的 LLM 开发？

主要发现

• GPT-3.5 在某些孟加拉语 NLP 任务（如问答和情感分析）中表现具有竞争力，通常能匹配或超越微调后的最先进模型。
• LLaMA-2-13b-chat 在大多数任务中表现显著偏低，表明其在孟加拉语中的零样本泛化能力较差。
• Claude-2 在多个任务中展现出强大的零样本性能，表明模型架构和预训练数据质量是关键影响因素。
• 在文本摘要和自然语言蕴含等任务中，零样本 LLM 的表现持续低于微调后的最先进模型。
• 本研究揭示了英语与孟加拉语零样本 NLP 之间存在显著性能差距，强调了语言特定适配的必要性。
• 总体而言，尽管部分 LLM 在零样本孟加拉语 NLP 中展现出潜力，但结果凸显了其显著局限性，尤其是开源模型方面。