[논문 리뷰] ScandEval: A Benchmark for Scandinavian Natural Language Processing

Dan Saattrup Nielsen|arXiv (Cornell University)|2023. 04. 03.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 스칸디나비아 자연어 처리를 위한 벤치마킹 프레임워크인 ScandEval을 소개한다. 이 프레임워크는 새로 공개된 두 개의 데이터셋인 ScaLA와 ScandiQA를 사용하여 사전 훈련된 모델을 네 가지 작업—이름 있는 엔터티 인식, 감성 분류, 언어적 타당성, 질의 응답—에 대해 평가한다. Python 패키지와 CLI로 구현된 이 프레임워크는 Hugging Face Hub에 호스팅된 100개 이상의 모델에 대한 재현 가능한 벤치마킹을 가능하게 하며, 결과는 상호작용식 온라인 랭킹보드에 게시된다. 주요 발견 결과로는 메인랜드 스칸디나비아 언어(덴마크어, 노르웨이어, 스웨덴어) 간에 상당한 교차 언어 전이가 이루어지지만, 섬 주변 스칸디나비아 언어(아이슬란드어, 파라오이스어)로의 전이는 제한적이며, 국가별 모델이 XLM-RoBERTa나 mDeBERTaV3와 같은 일반 다국어 모델보다 성능이 뛰어나다는 점이다.

ABSTRACT

This paper introduces a Scandinavian benchmarking platform, ScandEval, which can benchmark any pretrained model on four different tasks in the Scandinavian languages. The datasets used in two of the tasks, linguistic acceptability and question answering, are new. We develop and release a Python package and command-line interface, scandeval, which can benchmark any model that has been uploaded to the Hugging Face Hub, with reproducible results. Using this package, we benchmark more than 100 Scandinavian or multilingual models and present the results of these in an interactive online leaderboard, as well as provide an analysis of the results. The analysis shows that there is substantial cross-lingual transfer among the Mainland Scandinavian languages (Danish, Swedish and Norwegian), with limited cross-lingual transfer between the group of Mainland Scandinavian languages and the group of Insular Scandinavian languages (Icelandic and Faroese). The benchmarking results also show that the investment in language technology in Norway, Sweden and Denmark has led to language models that outperform massively multilingual models such as XLM-RoBERTa and mDeBERTaV3. We release the source code for both the package and leaderboard.

연구 동기 및 목표

• 스칸디나비아 NLP 분야에서 모델 선택과 성과 평가의 도전에 대응하기 위해 단일 언어 및 다국어 모델을 위한 표준화된 벤치마킹을 구축하기 위해.
• Hugging Face Hub에 호스팅된 어떤 모델이든 지원하는 재현 가능하고 접근 가능한 평가 프레임워크를 개발하기 위해.
• 언어적·문화적 유사성과 차이점이 있는 메인랜드 스칸디나비아 언어와 섬 주변 스칸디나비아 언어 간의 교차 언어 전이 능력을 조사하기 위해.
• 메인랜드 스칸디나비아 언어를 위해 특별히 제작된 고품질의 두 가지 신규 데이터셋인 ScaLA(언어적 타당성)와 ScandiQA(질의 응답)를 공개하기 위해.
• 덴마크어, 노르웨이어, 스웨덴어에 걸쳐 모델 성능을 추적하고 비교할 수 있는 상호작용식 온라인 랭킹보드를 구축하여 분야 내 투명한 성과 추적을 촉진하기 위해.

제안 방법

• 벤치마킹은 네 가지 핵심 NLP 작업—이름 있는 엔터티 인식, 감성 분류, 언어적 타당성(ScaLA), 질의 응답(ScandiQA)—을 포함하며, 모든 작업은 교차 언어 일관성을 확보하기 위해 동일하게 처리된다.
• 모든 Hugging Face 호스팅 모델에 대해 재현 가능하고 자동화된 벤치마킹을 가능하게 하기 위해 새로운 Python 패키지 `scandeval`과 CLI 인터페이스를 개발하였다.
• 모든 데이터셋은 표준화되어 Hugging Face Hub에 공개되어 모델과 언어 간 일관된 평가를 보장한다.
• 교차 언어 전이 능력은 한 언어에서 미세조정된 모델이 다른 언어에서 테스트된 성능 차이에 대해 F-통계를 사용하여 평가하였다.
• 벤치마킹은 메인랜드(덴마크어, 노르웨이어, 스웨덴어)와 섬 주변(아이슬란드어, 파라오이스어) 스칸디나비아 언어를 모두 지원하지만, 관찰된 성능 추세로 인해 랭킹보드는 주로 메인랜드 언어에 집중한다.
• 모델 성능 평가는 표준 지표를 사용하였으며, NER는 F1, 감성 분류는 정확도, 질의 응답은 정확한 일치 및 F1을 사용하였고, 결과는 상호작용식 온라인 랭킹보드에 집계 및 시각화되었다.

Figure 1: Plot showing the performance of different models on the AngryTweets dataset with varying number of training samples.

실험 결과

연구 질문

• RQ1 메인랜드 스칸디나비아 언어(덴마크어, 노르웨이어, 스웨덴어) 간에 교차 언어 전이가 어느 정도 이루어지는가?
• RQ2 메인랜드 스칸디나비아 언어와 섬 주변 스칸디나비아 언어(아이슬란드어, 파라오이스어) 간에 상당한 교차 언어 전이가 존재하는가?
• RQ3 국가별 단일 언어 스칸디나비아 언어 모델이 XLM-RoBERTa나 mDeBERTaV3와 같은 일반 다국어 모델보다 스칸디나비아 NLP 작업에서 성능이 뛰어나게 되는가?
• RQ4 한 스칸디나비아 언어에서 훈련된 모델의 성능이 다른 스칸디나비아 언어로 일반화되는 정도는 어떠한가, 특히 자원이 제한된 환경에서의 경우?
• RQ5 표준화된 데이터셋과 재현 가능한 평가를 갖춘 통합된 벤치마킹 프레임워크는 스칸디나비아 NLP 연구 분야의 투명성과 성과 추적 향상에 기여하는가?

주요 결과

• 노르웨이어 모델인 NB-BERT-large가 총합 최상위 점수를 기록했으며, 덴마크어, 노르웨이어, 스웨덴어 전 부문에서 상위 두 개 이내로 랭크되어 강력한 교차 언어 전이가 이루어지고 있음을 시사한다.
• 스웨덴어에서 가장 뛰어난 성능을 보인 모델은 KB-BERT-large였고, 덴마크어에서는 DFM-encoder-large-v1이 최우수 성능을 기록했으며, 둘 다 XLM-RoBERTa나 mDeBERTaV3와 같은 일반 다국어 모델을 능가했다.
• F-통계 분석 결과, 메인랜드 스칸디나비아 언어 그룹 내에서 가장 높은 교차 언어 전이가 이루어졌으며(F = 33.34, 덴마크어, 노르웨이어, 스웨덴어), 상당한 언어적 유사성과 전이 가능성 확인.
• 메인랜드와 섬 주변 스칸디나비아 언어 간 교차 언어 전이는 극히 미미하였으며, 두 그룹을 모두 포함하는 모든 조합에서 F-통계가 10 이하로 나타나 두 언어 군집 간의 명백한 차이를 뒷받침한다.
• 벤치마킹 결과, 노르웨이, 스웨덴, 덴마크에서 개발된 국가별 모델이 그 각각의 언어에서 다국어 모델보다 뛰어난 성능을 보였으며, 이는 국가별 언어 기술에 대한 집중적 투자가 더 뛰어난 결과를 낳을 수 있음을 시사한다.
• https://scandeval.github.io에 호스팅된 온라인 랭킹보드는 100개 이상의 모델에 대해 실시간으로 재현 가능한 결과를 제공하며, 공동체 전반에 걸쳐 투명하고 표준화된 평가를 가능하게 한다.

Figure 2: Boxplot showing the training time of the models on the AngryTweets dataset with varying number of training samples.