[논문 리뷰] BenLLMEval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP

Mohsinul Kabir, Mohammed Saidul Islam외 4명|arXiv (Cornell University)|2023. 09. 22.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 텍스트 요약, 질의응답, 감성 분석 등 벵골 NLP 작업에서 대규모 언어 모델(Large Language Models, LLMs)의 종합적인 제로샷 평가인 BenLLMEval을 소개한다. 일부 작업에서는 뛰어난 성능을 보였지만, LLaMA-2-13b-chat와 같은 오픈소스 LLM은 최신의 미세조정된 모델에 비해 상당히 낮은 성능을 보이며, 저자원 언어 능력에 있어 심각한 격차가 있음을 드러내며, 벵골 NLP 분야에서의 대상적 개선이 필요하다는 점을 시사한다.

ABSTRACT

Large Language Models (LLMs) have emerged as one of the most important breakthroughs in NLP for their impressive skills in language generation and other language-specific tasks. Though LLMs have been evaluated in various tasks, mostly in English, they have not yet undergone thorough evaluation in under-resourced languages such as Bengali (Bangla). To this end, this paper introduces BenLLM-Eval, which consists of a comprehensive evaluation of LLMs to benchmark their performance in the Bengali language that has modest resources. In this regard, we select various important and diverse Bengali NLP tasks, such as text summarization, question answering, paraphrasing, natural language inference, transliteration, text classification, and sentiment analysis for zero-shot evaluation of popular LLMs, namely, GPT-3.5, LLaMA-2-13b-chat, and Claude-2. Our experimental results demonstrate that while in some Bengali NLP tasks, zero-shot LLMs could achieve performance on par, or even better than current SOTA fine-tuned models; in most tasks, their performance is quite poor (with the performance of open-source LLMs like LLaMA-2-13b-chat being significantly bad) in comparison to the current SOTA results. Therefore, it calls for further efforts to develop a better understanding of LLMs in modest-resourced languages like Bengali.

연구 동기 및 목표

• 저자원 언어인 벵골 NLP 작업에서 대규모 언어 모델의 제로샷 능력을 평가하기 위해.
• GPT-3.5, LLaMA-2-13b-chat, Claude-2와 같은 주요 LLM을 다양한 벵골 NLP 작업에서 벤치마킹하기 위해.
• 벵골어에서의 제로샷 LLM 성능을 최신의 미세조정된 모델과 비교하기 위해.
• 벵골어와 같은 저자원 언어 환경에서 현재 LLM의 강점과 한계를 규명하기 위해.
• 저자원 언어를 위한 향후 연구 개선을 위한 기반을 마련하기 위해.

제안 방법

• 연구는 텍스트 요약, 질의응답, 어색한 표현 교체, 자연어 추론, 발음 전환, 텍스트 분류, 감성 분석 등 일곱 가지 다양한 벵골 NLP 작업을 포함하는 벤치마크 세트를 구축한다.
• 벵골 데이터에 대한 미세조정 없이 GPT-3.5, LLaMA-2-13b-chat, Claude-2의 제로샷 추론을 적용하여 평가한다.
• 요약 작업에는 ROUGE, 질의응답에는 F1, 분류 작업에는 정확도와 같은 표준 지표를 사용하여 평가한다.
• 벤치마크는 저자원 환경에서 LLM의 일반화 능력을 시험할 수 있도록 실제 세계의 다양성을 반영하도록 설계된다.
• 제로샷 전이 능력을 평가하기 위해 기존의 최신 미세조정된 모델과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 주요 LLM은 다양한 벵골 NLP 작업에서 제로샷 환경에서 어떻게 성능을 내는가?
• RQ2 제로샷 LLM은 벵골어에서 최신의 미세조정된 모델에 비해 어느 정도 성능을 따라하거나 초월하는가?
• RQ3 LLaMA-2-13b-chat과 같은 오픈소스 LLM은 영어 능력은 뛰어나지만 왜 벵골 벤치마크에서 성능이 떨어지는가?
• RQ4 저자원 언어인 벵골어에 적용했을 때 LLM의 주요 실패 유형은 무엇인가?
• RQ5 향후 저자원 언어를 위한 LLM 개발을 이끄는 데 도움이 되는 통찰은 무엇인가?

주요 결과

• GPT-3.5는 질의응답 및 감성 분석과 같은 일부 벵골 NLP 작업에서 경쟁적인 성능을 보이며, 종종 미세조정된 최신 모델과 동등하거나 이를 초월한다.
• LLaMA-2-13b-chat는 대부분의 작업에서 상당히 낮은 성능을 보이며, 벵골어에서의 제로샷 일반화 능력이 떨어진다는 것을 시사한다.
• Claude-2는 여러 작업에서 뛰어난 제로샷 성능을 보이며, 모델 아키텍처와 사전학습 데이터의 품질이 핵심 요소임을 시사한다.
• 텍스트 요약 및 자연어 추론과 같은 작업에서는 제로샷 LLM이 항상 미세조정된 최신 모델에 비해 성능이 열등하다.
• 연구는 영어와 벵골어 제로샷 NLP 간에 상당한 성능 격차가 있음을 드러내며, 언어별 적응이 필요하다는 점을 강조한다.
• 전반적으로 일부 LLM은 제로샷 벵골 NLP에서 잠재력을 보여주지만, 결과는 특히 오픈소스 모델의 경우 심각한 한계를 드러낸다.