[論文レビュー] ScandEval: A Benchmark for Scandinavian Natural Language Processing

Dan Saattrup Nielsen|arXiv (Cornell University)|Apr 3, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文では、スカンジナビア自然言語処理のためのベンチマーキングフレームワーク、ScandEval を紹介する。このフレームワークは、名前付きエンティティ認識、センチメント分類、文脈的妥当性、質問応答の4つのタスクを、新たにリリースされた2つのデータセット（ScaLA および ScandiQA）を用いて、事前学習済みモデルの評価を可能にする。PythonパッケージおよびCLIとして実装されたこのフレームワークにより、Hugging Face Hub 上の100以上のモデルを再現可能にベンチマーク化でき、結果はインタラクティブなオンラインリーダーボードにホスティングされる。主な発見として、スカンジナビア大陸諸語（デンマーク語、ノルウェー語、スウェーデン語）間では顕著なクロスリンガル転送が見られ、一方インスラー・スカンジナビア語（アイスランド語、ファローエー語）への転送は限定的である。また、国別モデルが XLM-RoBERTa や mDeBERTaV3 といった汎用マルチリンガルモデルを上回る性能を示した。

ABSTRACT

This paper introduces a Scandinavian benchmarking platform, ScandEval, which can benchmark any pretrained model on four different tasks in the Scandinavian languages. The datasets used in two of the tasks, linguistic acceptability and question answering, are new. We develop and release a Python package and command-line interface, scandeval, which can benchmark any model that has been uploaded to the Hugging Face Hub, with reproducible results. Using this package, we benchmark more than 100 Scandinavian or multilingual models and present the results of these in an interactive online leaderboard, as well as provide an analysis of the results. The analysis shows that there is substantial cross-lingual transfer among the Mainland Scandinavian languages (Danish, Swedish and Norwegian), with limited cross-lingual transfer between the group of Mainland Scandinavian languages and the group of Insular Scandinavian languages (Icelandic and Faroese). The benchmarking results also show that the investment in language technology in Norway, Sweden and Denmark has led to language models that outperform massively multilingual models such as XLM-RoBERTa and mDeBERTaV3. We release the source code for both the package and leaderboard.

研究の動機と目的

• スカンジナビア NLP 分野におけるモデル選定と進捗評価の課題に対処するため、単語言語モデルおよびマルチリンガルモデルを対象とした標準化されたベンチマークを構築すること。
• Hugging Face Hub にホスティングされた任意のモデルを再現可能かつ容易に評価できる、アクセスしやすい評価フレームワークを開発すること。
• スカンジナビア大陸諸語とインスラー・スカンジナビア語の間でのクロスリンガル転送能力を、言語的・文化的類似性と相違性を踏まえて調査すること。
• スカンジナビア大陸諸語向けに特化した、文脈的妥当性（ScaLA）と質問応答（ScandiQA）の2つの新規高品質データセットをリリースすること。
• デンマーク語、ノルウェー語、スウェーデン語の間でモデル性能を追跡・比較できる、インタラクティブなオンラインリーダーボードを構築し、分野全体の透明性ある進捗追跡を促進すること。

提案手法

• ベンチマークは、名前付きエンティティ認識、センチメント分類、文脈的妥当性（ScaLA）、質問応答（ScandiQA）の4つのコア NLP タスクを含み、すべての言語で一貫性のある処理がなされる。
• Hugging Face Hub 上の任意のモデルを、定義されたタスクで再現可能かつ自動化された形でベンチマーク化できるように、新しい Python パッケージ `scandeval` と CLI インターフェースを開発した。
• すべてのデータセットは標準化され、Hugging Face Hub にリリースされており、モデルや言語間での一貫性のある評価を保証する。
• クロスリンガル転送は、言語グループ間の性能差に F 検定を適用して評価され、ある言語で微調整したモデルを他の言語でテストすることで評価された。
• ベンチマークは、スカンジナビア大陸諸語（デンマーク語、ノルウェー語、スウェーデン語）とインスラー・スカンジナビア語（アイスランド語、ファローエー語）の両方をカバーしているが、観察されたパフォーマンス傾向のため、リーダーボードは主にスカンジナビア大陸諸語に焦点を当てる。
• モデルのパフォーマンスは、標準的な指標で評価された：NER には F1 スコア、センチメント分類には正答率、質問応答には正確一致（EM）と F1 スコアを用い、結果は統合され、インタラクティブなオンラインリーダーボードに可視化された。

Figure 1: Plot showing the performance of different models on the AngryTweets dataset with varying number of training samples.

実験結果

リサーチクエスチョン

• RQ1 スカンジナビア大陸諸語（デンマーク語、ノルウェー語、スウェーデン語）間で、どの程度クロスリンガル転送が発生するか？
• RQ2 スカンジナビア大陸諸語とインスラー・スカンジナビア語（アイスランド語、ファローエー語）の間で、顕著なクロスリンガル転送が見られるか？
• RQ3 XLM-RoBERTa や mDeBERTaV3 といった汎用マルチリンガルモデルに比べ、国別に開発された単語言語スカンジナビア言語モデルが、スカンジナビア NLP タスクで優れた性能を示すか？
• RQ4 1つのスカンジナビア言語で訓練されたモデルの性能が、他のスカンジナビア言語にどの程度一般化されるか、特にリソースが限られた状況下で。
• RQ5 標準化されたデータセットと再現可能な評価を備えた統合型ベンチマーキングフレームワークは、スカンジナビア NLP 研究における透明性と進捗追跡を向上させることができるか？

主な発見

• ノルウェー語向けに開発されたモデル NB-BERT-large が、全体で最高スコアを記録し、スカンジナビア大陸諸語の全3言語で上位2位以内にランクされた。これは、顕著なクロスリンガル転送が存在することを示している。
• スウェーデン語で最高のパフォーマンスを示したのは KB-BERT-large であり、デンマーク語では DFM-encoder-large-v1 が最も優れていた。両モデルとも、XLM-RoBERTa や mDeBERTaV3 といった汎用マルチリンガルモデルを上回った。
• F 検定の結果、スカンジナビア大陸諸語間でのクロスリンガル転送が最も顕著であり（デンマーク語・ノルウェー語・スウェーデン語間で F = 33.34）、顕著な言語的類似性と転送可能性を裏付けた。
• スカンジナビア大陸諸語とインスラー・スカンジナビア語の間のクロスリンガル転送は最小限にとどまり、両グループを含むすべての組み合わせで F 検定の値が 10 未満であった。これは、2つの言語グループの明確な区別が成り立つことを支持する。
• ベンチマークにより、ノルウェー、スウェーデン、デンマークで開発された国別モデルが、それぞれの言語で常に大幅にマルチリンガルモデルを上回ることが明らかになった。これは、国別言語技術への的確な投資が、優れた結果をもたらす可能性を示唆している。
• https://scandeval.github.io にホスティングされたオンラインリーダーボードは、100以上のモデルについて、リアルタイムかつ再現可能な結果を提供しており、コミュニティ全体での透明性と標準化された評価を促進している。

Figure 2: Boxplot showing the training time of the models on the AngryTweets dataset with varying number of training samples.