[論文レビュー] Evaluation of contextual embeddings on less-resourced languages

Matej Ulčar, Aleš Žagar+5 more|arXiv (Cornell University)|Jul 22, 2021

Topic Modeling参考文献 47被引用数 6

ひとこと要約

本論文は、9つの低リソースのヨーロッパ言語における14のタスクにおいて、最初の体系的な多言語 ELMo および BERT コンテキスト埋め込みの評価を提示する。一般的に、単言語 BERT モデルは ELMo や多言語 BERT よりも優れているが、三言語 BERT モデルは、英語から類縁言語へのクロスリンガル転送において特に優れた性能を示す。一方、依存解析や用語対応タスクでは ELMo も競争力がある。

ABSTRACT

The current dominance of deep neural networks in natural language processing is based on contextual embeddings such as ELMo, BERT, and BERT derivatives. Most existing work focuses on English; in contrast, we present here the first multilingual empirical comparison of two ELMo and several monolingual and multilingual BERT models using 14 tasks in nine languages. In monolingual settings, our analysis shows that monolingual BERT models generally dominate, with a few exceptions such as the dependency parsing task, where they are not competitive with ELMo models trained on large corpora. In cross-lingual settings, BERT models trained on only a few languages mostly do best, closely followed by massively multilingual BERT models.

研究の動機と目的

• 大規模な事前学習が限られている、低リソースのヨーロッパ言語におけるコンテキスト埋め込み（ELMo および BERT）の性能を評価すること。
• 単言語 BERT と多言語 BERT、ELMo モデルの、単言語およびクロスリンガル設定における有効性を調査すること。
• 英語から低リソース言語へのクロスリンガル転送性能を評価し、特に低リソース言語ペairに焦点を当てる。
• 低リソース環境におけるコンテキスト埋め込みの評価のため、9言語にまたがる14のタスクのベンチマークスイートを確立すること。
• トレーニングデータサイズとモデルアーキテクチャの、特に低リソース言語における下流タスク性能への影響を比較すること。

提案手法

• 多言語 ELMo モデル（1つ）と単言語 ELMo モデル（1つ）、および3種類の BERT バリエーション（単言語、大量多言語（mBERT）、三言語 BERT）を評価した。
• 命名エンティティ認識（NER）、品詞タギング、依存解析、類似性、文脈的類似性、用語対応、SuperGLUE ベンチマークを含む7つの自然言語処理分野にまたがる14の多様なタスクを用いた。
• 英語をソースとして使用し、ターゲット言語で微調整することでクロスリンガル転送を実施し、ゼロショットおよび少数ショットの転送設定を採用した。
• 意味的および用語対応タスクにはコサイン類似度を、系列ラベル付けおよび推論タスクには標準的な分類指標を用いた。
• 言語ペア間の性能を比較し、英語→他言語および非英語→他言語の両方の転送を含めた。結果は正解率@1およびF1スコアとして報告した。
• データサイズに関するアブレーションスタディを実施し、11億トークンでさえ一部のケースでは十分な性能が得られなかった。これは、データ不足が主要なボトルネックであることを示している。

実験結果

リサーチクエスチョン

• RQ1 複数の低リソースヨーロッパ言語において、単言語 BERT モデルは ELMo や多言語 BERT よりも優れているか？
• RQ2 クロスリンガル転送において、英語から低リソース言語へ知識を転送する際、三言語 BERT、mBERT、またはクロスリンガルマッピングを施した ELMo のうち、どのモデルアーキテクチャが最も優れた性能を示すか？
• RQ3 BERT ベースのモデルの性能は、特に低リソース環境において、事前学習コーパスのサイズに大きく依存するか？
• RQ4 BERT の大多数のベンチマークにおける優位性にもかかわらず、ELMo が依然として BERT を上回る NLP タスクは何か？
• RQ5 クロスリンガル転送モデルの性能は、その単言語対応モデルにどれほど近いか？このギャップは言語やタスクによって変動するか？

主な発見

• 単言語 BERT モデルは、ほとんどのタスクで ELMo や多言語 BERT を常に上回り、三言語 BERT モデルはいくつかのケースで最高の性能を達成した。
• 依存解析タスクでは、L-ELMo モデルがすべての BERT バリエーションを上回り、BERT の一般的優位性にもかかわらず、ELMo が句構造モデリングにおいて強みを示している。
• 三言語 BERT モデルは、多言語 BERT や ELMo よりもクロスリンガル用語対応タスクで優れた性能を示し、英語→スロベニア語転送で最大28.4%の正解率@1を達成した。
• 英語→スラブ語およびフィンニク＝ウグリ語の言語ペアでは、三言語 BERT モデルが21.5%～28.4%の正解率@1を達成し、mBERT（例：英語→スロベニア語で10.3%）を著しく上回った。
• ELMo モデルは用語対応タスクで競争力のある結果（例：英語→スウェーデン語で18.7%）を示し、多くのケースで mBERT を上回ったが、ほとんどの言語ペアでは三言語 BERT に劣った。
• 多くのタスクにおいてクロスリンガル転送の性能低下はわずか（数パcentポイント）であり、少ないデータでも転移学習が有効であることを示唆している。ただし、データサイズは依然として重要な要因であり、5億トークンでは LVBERT で十分な性能が得られなかった。