[論文レビュー] What the [MASK]? Making Sense of Language-Specific BERT Models

Debora Nozza, Federico Bianchi+1 more|arXiv (Cornell University)|Mar 5, 2020

Topic Modeling参考文献 31被引用数 85

ひとこと要約

この論文は言語別 BERT モデルを調査し、それらを mBERT と比較し、言語別 BERT のパフォーマンスを言語・タスク・ドメインを横断して探索する対話型サイト BertLang を紹介します。

ABSTRACT

Recently, Natural Language Processing (NLP) has witnessed an impressive progress in many areas, due to the advent of novel, pretrained contextual representation models. In particular, Devlin et al. (2019) proposed a model, called BERT (Bidirectional Encoder Representations from Transformers), which enables researchers to obtain state-of-the art performance on numerous NLP tasks by fine-tuning the representations on their data set and task, without the need for developing and training highly-specific architectures. The authors also released multilingual BERT (mBERT), a model trained on a corpus of 104 languages, which can serve as a universal language model. This model obtained impressive results on a zero-shot cross-lingual natural inference task. Driven by the potential of BERT models, the NLP community has started to investigate and generate an abundant number of BERT models that are trained on a particular language, and tested on a specific data domain and task. This allows us to evaluate the true potential of mBERT as a universal language model, by comparing it to the performance of these more specific models. This paper presents the current state of the art in language-specific BERT models, providing an overall picture with respect to different dimensions (i.e. architectures, data domains, and tasks). Our aim is to provide an immediate and straightforward overview of the commonalities and differences between Language-Specific (language-specific) BERT models and mBERT. We also provide an interactive and constantly updated website that can be used to explore the information we have collected, at https://bertlang.unibocconi.it.

研究の動機と目的

• 言語別 BERT モデルの概要と、それらが mBERT とどのように異なるかの説明。
• 言語別 BERT モデルが評価されるアーキテクチャ、データドメイン、タスクの要約。
• モデルを比較し、モデル選択を案内する対話型リソース（BertLang）の提示。
• パフォーマンスの利点と言語やタスク間の変動性に関する重要な発見の強調。

提案手法

• 18 言語と 29 NLP タスクにわたる既存の言語別 BERT モデルのレビュー。
• 利用可能な場合は mBERT とのパフォーマンスを集計・比較。
• BertLang ウェブサイトを対話型・最新のリポジトリとして導入・説明。
• 事前学習データの出典（Wikipedia、OPUS、OSCAR）と評価ドメイン（ニュース、ソーシャルメディア など）を議論。
• 言語別モデルが mBERT より優れていると観察される傾向と、どのタスクでそうなるかを要約。

実験結果

リサーチクエスチョン

• RQ1 言語とタスクを横断して、言語別 BERT モデルは mBERT とどのように比較されるか？
• RQ2 どのアーキテクチャ（BERT、ALBERT、RoBERTa）とデータソースが言語別モデルの最良パフォーマンスを生むか？
• RQ3 どのドメインとデータセットが、言語別モデルと mBERT の相対的な利得に影響を与えるか？
• RQ4 言語ごとの言語別モデルはどの程度利用可能か、研究者は適切なモデルをどのように効率的に見つけられるか？

主な発見

タスク	指標	Avg. lang-specific BERT	Avg. mBERT	差分
命名実体認識	F1	85.26	80.87	4.39
自然言語推論	Accuracy	78.35	74.60	3.75
パラフレーズ同定	Accuracy	88.44	87.74	0.70
品詞タグ付け	Accuracy	97.06	95.87	1.19
品詞タグ付け	UPOS	98.28	97.33	0.95
感情分析	Accuracy	90.17	83.80	6.37
テキスト分類	Accuracy	88.96	85.22	3.75

• 言語別 BERT モデルは、対象タスク全般で平均して mBERT を上回る。
• 資源が乏しい言語（例： Yorùbá、アラビア語）で mBERT に対する改善が最も大きい。
• 命名実体認識はデータセット内で最も頻繁に報告されるタスク。
• 感情分析は言語別モデルで顕著な利得を示すことが多い。
• パフォーマンスの向上はタスクと言語によって大きく異なり、いくつかのケースでは名詞の意味識別など特定のタスクで mBERT を優先することもある。
• 本論文は言語別 BERT モデルを探る中核的で最新のリソースとして BertLang を紹介する。