[論文レビュー] FinEst BERT and CroSloEngual BERT: less is more in multilingual models

Matej Ulčar, Marko Robnik‐Šikonja|arXiv (Cornell University)|Jun 14, 2020

Topic Modeling参考文献 12被引用数 6

ひとこと要約

本稿では、フィンランド語・エストニア語・英語およびクロアチア語・スロベニア語・英語のそれぞれを対象とした三語対応 BERT ベースモデル、FinEst BERT および CroSloEngual BERT を紹介する。英語を含む3言語に焦点を当てて多言語間転送を可能にすることで、単言語および多言語間設定の命名抽出（NER）、品詞タギング、依存解析のタスクにおいて、mBERT や XLM-R を上回る性能を達成した。これは、より小さいが特化した多言語モデルが、より大きな汎用多言語モデルを上回ることを示している。

ABSTRACT

Large pretrained masked language models have become state-of-the-art solutions for many NLP problems. The research has been mostly focused on English language, though. While massively multilingual models exist, studies have shown that monolingual models produce much better results. We train two trilingual BERT-like models, one for Finnish, Estonian, and English, the other for Croatian, Slovenian, and English. We evaluate their performance on several downstream tasks, NER, POS-tagging, and dependency parsing, using the multilingual BERT and XLM-R as baselines. The newly created FinEst BERT and CroSloEngual BERT improve the results on all tasks in most monolingual and cross-lingual situations

研究の動機と目的

• 関連する言語ペアに特化した多言語 BERT モデルを訓練することで、リソースが限られた NLP タスクの性能を向上させること。
• 多言語 BERT モデルに含める言語数を減らすことで、リソースが限られた言語のための性能が向上するかどうかを調査すること。
• 三語対応モデルにおいて英語をブリッジ言語として含めることで、効果的な多言語間転送を可能にすること。
• フィンランド語、エストニア語、クロアチア語、スロベニア語向けに、公開可能で高品質な多言語モデルを構築すること。
• 命名抽出（NER）、品詞タギング、依存解析といった下流タスクにおいて、単言語および多言語間設定でモデルを評価すること。

提案手法

• 各ターゲット言語の洗練済み・重複削除済み単言語コーパスを用いて、12層、768次元の隠れ層、110Mパラメータを持つ BERT-base モデルを2つ訓練した。
• 各言語のバランスの取れたサブセット（例：FinEst におけるエストニア語は7500万トークン、CroSloEngual におけるスロベニア語は2800万トークン）を用いて、サブワード（WordPiece）語彙を構築した。
• 冗長性を低減するために、文および段落レベルで 9-gram と 0.9 の閾値を用いた Onion 重複削除ツールを適用した。
• 言語的差異を保持するために、ワールドワイドマスクとキャメルケーストークン化を採用した。
• Devlin 他 (2019) のハイパーパrameter を使用し、シーケンス長 128 で約40エポック、その後長めのシーケンスで約4エポックを訓練した。
• mBERT や XLM-R のベースラインと比較して、NER、品詞タギング、依存解析の評価を、UPOS 正確率、UAS、LAS スコアを用いて行った。

実験結果

リサーチクエスチョン

• RQ1 2つの近縁でリソースが限られた言語と英語を含む三語対応 BERT モデルが、mBERT らような大規模多言語モデルを上回る性能を示せるか？
• RQ2 多言語 BERT モデルにおける言語数を減らすことで、リソースが限られた言語のための言語表現が向上するのか？
• RQ3 近縁でリソースが限られた言語の間で、英語をブリッジ言語として含めることで、多言語間転送の効果がどの程度向上するか？
• RQ4 FinEst BERT および CroSloEngual BERT は、命名抽出（NER）、品詞タギング、依存解析において、単言語および多言語間設定で mBERT と比べてどのように異なるか？
• RQ5 英語を含めてより少ない言語で訓練することで、特に転移学習を支援する目的で、性能のトレードオフが生じるのか？

主な発見

• FinEst BERT は、フィンランド語とエストニア語のすべての NER タスクで mBERT を上回り、単言語設定でフィンランド語で 1.1%、エストニア語で 0.6% の向上を示した。
• CroSloEngual BERT は、単語タギング評価でスロベニア語 NER で 0.4%、クロアチア語 NER で 0.8% の向上を示した。
• 品詞タギングでは、FinEst BERT はフィンランド語で 2.6%、エストニア語で 2.6% の向上を示し、フィンランド語で訓練した場合の英語タスクでも 1.2% の向上を示した。
• 依存解析では、FinEst BERT はフィンランド語で LAS が 3.5%、エストニア語で 2.9% 向上し、フィンランド語で訓練した場合の英語タスクでも 4.3% の向上を示した。
• CroSloEngual BERT は、スロベニア語で LAS が 2.5% 向上、クロアチア語で 1.9% 向上し、スロベニア語で訓練した場合の英語タスクでも 4.6% の向上を示した。
• mBERT は、依存解析において英語で訓練しクロアチア語でテストした場合にのみ CroSloEngual BERT を上回り、言語固有の性能差が示された。