[論文レビュー] NoCoLA: The Norwegian Corpus of Linguistic Acceptability

Matias Jentoft, David Samuel|arXiv (Cornell University)|Jun 13, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、Bokmålにおける文の文法的受容可能性を評価するための新しいノルウェー語コーパス、NoCoLAを紹介する。このコーパスには、教師あり二値分類用のNoCoLA classと、ゼロショット文法的判断用のNoCoLA zeroという2つのデータセットが含まれる。主な貢献は、ノルウェー語言語モデルの文法理解における強みと弱みを明らかにするベンチマークを提供することであり、NorBERT 3 largeはNoCoLA classで最高の正解率82.48%と60.96%のMCCを達成した。一方、より小さいモデルであるNorBERT 1はゼロショットタスクで予想に反して大きなモデルを上回った。

ABSTRACT

While there has been a surge of large language models for Norwegian in recent years, we lack any tool to evaluate their understanding of grammaticality. We present two new Norwegian datasets for this task. NoCoLA_class is a supervised binary classification task where the goal is to discriminate between acceptable and non-acceptable sentences. On the other hand, NoCoLA_zero is a purely diagnostic task for evaluating the grammatical judgement of a language model in a completely zero-shot manner, i.e. without any further training. In this paper, we describe both datasets in detail, show how to use them for different flavors of language models, and conduct a comparative study of the existing Norwegian language models.

研究の動機と目的

• ノルウェー語言語モデルの文法的理解に関する標準化された評価ツールの不足に対処すること。
• 人工的に構築された例ではなく、第二言語学習者からの自然な誤りを反映する言語学的に根拠のあるデータセットを構築すること。
• ノルウェー語言語モデルのファインチューニング分類とゼロショット診断的評価を両立させること。
• 特定の誤りタイプ、例えば語彙選択、屈折、格変化に関するモデルの弱みを特定するベンチマークを提供すること。
• 今後のノルウェー語NLPモデルの評価と開発を支援するため、データとコードを公開すること。

提案手法

• NoCoLA classは、10,600文を受容可能と非受容可能に分類した教師あり二値分類データセットであり、言語モデルのファインチューニングを目的として設計されている。
• NoCoLA zeroは、最小限のペア比較を用いたゼロショット診断タスクであり、モデルが2つの文（1つは正しい、1つは誤り）に対して確率を割り当てる。これにより、言語モデルの本質的な文法的判断能力が評価される。
• このデータセットは、誤りアノテーション付きの学習者コーパス（例：SweLL）から構築されており、語彙選択、屈折、文法構造に関する自然な誤りに焦点を当てている。
• 評価には標準的な指標が用いられ、NoCoLA classでは正解率とマシュー相関係数（MCC）が、NoCoLA zeroではゼロショット正解率が使用されている。
• マスクド言語モデルでは、文の確率を推定するために擬似対数尤度（PLL）が用いられる：$\textrm{PLL}(\bm{s}) = \frac{1}{N}\sum_{t=1}^{N}{\textrm{log}\,p(\bm{s}_{t}|\bm{s}_{\setminus t};\theta)}$。
• モデルは誤りタイプごとに評価され、特定の言語現象におけるモデル性能の細分化された分析が可能になる。

実験結果

リサーチクエスチョン

• RQ1 既存のノルウェー語言語モデルは、Bokmålにおける受容可能・非受容可能な文をどれほど正しく区別できるか？
• RQ2 NoCoLA zeroにおけるゼロショット性能は、ファインチューニング分類よりも、言語モデルの本質的な文法的理解能力をより信頼性高く測定できるか？
• RQ3 語彙選択、屈折、格変化などの誤りタイプは、現在のノルウェー語言語モデルにどのような特定の弱みを露呈するか？
• RQ4 モデルサイズと受容可能性判断タスクにおける性能の相関関係はいかがなっているか？
• RQ5 NoCoLAは、今後のノルウェー語NLPモデルの開発と評価のための標準化されたベンチマークとして機能できるか？

主な発見

• NorBERT 3 largeは、NoCoLA classで82.48%の正解率を達成し、マシュー相関係数60.96%を記録し、分類タスクにおける強力な性能を示した。
• 驚くべきことに、NorBERT 1はゼロショットタスクで大きなモデルを上回り、90%の正解率を達成した。これは、より小さいが洗練された事前学習コーパスが、ゼロショット文法的判断能力を向上させうることを示唆している。
• モデルサイズの増加が、必ずしもゼロショット性能を向上させるとは限らず、パrameter数だけではより良い文法的理解が保証されないことが示された。
• NB-BERT largeモデルは、句読点関連の誤りに対して特に弱みを示した。これは、大文字小文字を区別しない学習データによるもので、大文字小文字の感度に影響を与えていると考えられる。
• ScandiBERTは、ほとんどの誤りタイプにおいてノルウェー語固有のモデルと同等の性能を示したが、綴りの誤りでは顕著に劣っており、ドメイン特異的な制限が浮き彫りになった。
• 結果から、NoCoLAは細分化された誤り分析を可能にし、特定の誤りタイプで低いスコアを示すことは、モデルの学習データやトークン化の問題を診断する指標として有効であることが示された。