[論文レビュー] BenLLMEval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP

Mohsinul Kabir, Mohammed Saidul Islam+4 more|arXiv (Cornell University)|Sep 22, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文は、テキスト要約、質問応答、感情分析を含むバングラ語NLPタスクにおける大規模言語モデル（LLM）の包括的なゼロショット評価であるBenLLMEvalを紹介する。一部のタスクでは優れたパフォーマンスを示すが、Llama-2-13b-chatのようなオープンソースLLMは、最先端の微調整済みモデルと比較して顕著に低いパフォーマンスを示しており、低リソース言語における能力の格差が顕著であり、バングラ語NLPにおける的確な改善の必要性が浮き彫りになる。

ABSTRACT

Large Language Models (LLMs) have emerged as one of the most important breakthroughs in NLP for their impressive skills in language generation and other language-specific tasks. Though LLMs have been evaluated in various tasks, mostly in English, they have not yet undergone thorough evaluation in under-resourced languages such as Bengali (Bangla). To this end, this paper introduces BenLLM-Eval, which consists of a comprehensive evaluation of LLMs to benchmark their performance in the Bengali language that has modest resources. In this regard, we select various important and diverse Bengali NLP tasks, such as text summarization, question answering, paraphrasing, natural language inference, transliteration, text classification, and sentiment analysis for zero-shot evaluation of popular LLMs, namely, GPT-3.5, LLaMA-2-13b-chat, and Claude-2. Our experimental results demonstrate that while in some Bengali NLP tasks, zero-shot LLMs could achieve performance on par, or even better than current SOTA fine-tuned models; in most tasks, their performance is quite poor (with the performance of open-source LLMs like LLaMA-2-13b-chat being significantly bad) in comparison to the current SOTA results. Therefore, it calls for further efforts to develop a better understanding of LLMs in modest-resourced languages like Bengali.

研究の動機と目的

• 未発達のバングラ語NLPタスクにおける大規模言語モデルのゼロショット能力を評価すること。
• GPT-3.5、Llama-2-13b-chat、Claude-2といった代表的なLLMを、多様なバングラ語NLPタスクにわたってベンチマークすること。
• バングラ語におけるゼロショットLLMのパフォーマンスを、最先端の微調整済みモデルと比較すること。
• バングラ語のような低リソース言語環境における現在のLLMの強みと限界を特定すること。
• 未発達言語向けにLLMのパフォーマンスを向上させるための今後の研究の基盤を提供すること。

提案手法

• 本研究では、テキスト要約、質問応答、類義文生成、自然言語推論、発音表記変換、テキスト分類、感情分析の7つの多様なバングラ語NLPタスクをカバーするベンチマークスイートを構築した。
• GPT-3.5、Llama-2-13b-chat、Claude-2に対して、バングラ語データでの微調整なしにゼロショット推論を適用して評価した。
• 要約にはROUGE、質問応答にはF1、分類タスクには正答率といった標準的な指標を用いて評価を行った。
• ベンチマークは、低リソース環境におけるLLMの一般化能力を試すために、現実世界の多様性を反映するように設計された。
• ゼロショットの転移能力を評価するため、既存の最先端の微調整済みモデルとパフォーマンスを比較した。

実験結果

リサーチクエスチョン

• RQ1 主なLLMは、多様なバングラ語NLPタスクにおいて、ゼロショット環境でどのように性能を発揮するか？
• RQ2 ゼロショットLLMは、バングラ語における最先端の微調整済みモデルと比較して、どの程度性能を達成または上回るのか？
• RQ3 Llama-2-13b-chatのようなオープンソースLLMは、英語での性能が優れているにもかかわらず、なぜバングラ語ベンチマークで低性能を示すのか？
• RQ4 低リソース言語、たとえばバングラ語に対して適用された際のLLMの主な失敗モードは何か？
• RQ5 今後の未発達言語向けLLM開発を支援するための何が示唆されるか？

主な発見

• GPT-3.5は、質問応答や感情分析といった特定のバングラ語NLPタスクで競争力のあるパフォーマンスを示し、しばしば微調整済みSOTAモデルと同等またはそれを上回った。
• Llama-2-13b-chatは、大多数のタスクで顕著に低いパフォーマンスを示しており、バングラ語におけるゼロショット一般化能力の欠如を示している。
• Claude-2は、いくつかのタスクで優れたゼロショットパフォーマンスを示しており、モデルアーキテクチャと事前学習データの質が重要な要因であると考えられる。
• テキスト要約や自然言語推論のようなタスクでは、ゼロショットLLMが微調整済みSOTAモデルと比較して一貫して低いパフォーマンスを示した。
• 本研究では、英語とバングラ語のゼロショットNLPにおける顕著なパフォーマンス格差が明らかになった。これは、言語固有の適合が必要であることを示唆している。
• 全体として、一部のLLMはゼロショットバングラ語NLPにおいて有望な兆しを示しているが、結果は特にオープンソースモデルにおいて顕著な制限を浮き彫りにしている。