[論文レビュー] Multilingual is not enough: BERT for Finnish

Antti Virtanen, Jenna Kanerva+6 more|arXiv (Cornell University)|Dec 15, 2019

Topic Modeling参考文献 45被引用数 121

ひとこと要約

この論文は多言語BERT (M-BERT) とゼロから訓練されたフィンランド語専用BERT (FinBERT) を比較し、FinBERT はフィンランド語の品詞タグ付け、固有表現認識、依存文解析の各タスクで一貫して M-BERT を上回り、最新の状態を達成していることを示す。さらに下流のテキスト分類と検証タスクを検討し、言語特有の利点とデータドメインの影響を特徴づける。

ABSTRACT

Deep learning-based language models pretrained on large unannotated text corpora have been demonstrated to allow efficient transfer learning for natural language processing, with recent approaches such as the transformer-based BERT model advancing the state of the art across a variety of tasks. While most work on these models has focused on high-resource languages, in particular English, a number of recent efforts have introduced multilingual models that can be fine-tuned to address tasks in a large number of different languages. However, we still lack a thorough understanding of the capabilities of these models, in particular for lower-resourced languages. In this paper, we focus on Finnish and thoroughly evaluate the multilingual BERT model on a range of tasks, comparing it with a new Finnish BERT model trained from scratch. The new language-specific model is shown to systematically and clearly outperform the multilingual. While the multilingual model largely fails to reach the performance of previously proposed methods, the custom Finnish BERT model establishes new state-of-the-art results on all corpora for all reference tasks: part-of-speech tagging, named entity recognition, and dependency parsing. We release the model and all related resources created for this study with open licenses at https://turkunlp.org/finbert .

研究の動機と目的

• フィンランド語NLPタスクにおける多言語BERT (M-BERT) の有効性を評価する。
• ゼロからフィンランド語専用BERT (FinBERT) を開発・事前学習する。
• POSタグ付け、NER、依存構文解析において FinBERT と M-BERT を体系的に比較する。
• テキスト分類と検証タスクで FinBERT と M-BERT を評価する。
• FinBERT と関連リソースをオープンリサーチ用に公開する。

提案手法

• ニュース、ディスカッション、クローリングデータ、ウィキペディアを組み合わせた大規模でフィルタリングされたフィンランド語コーパスから FinBERT (大文字・小文字区別あり・110Mパラメータ) を事前学習する。
• クリーン化したデータ上で BPE を用いて、区別あり/なしの両方のバリアントで、50k語の専用フィンランド語語彙を構築する。
• モデルの各バリアントにつき 1M ステップで訓練し、シーケンス長を 128 と 512、ウォームアップ付きの LAMB 最適化を使用；8× Nvidia V100 GPU で各モデル約12日。
• FinBERT と M-BERT の両方を、品詞タグ付け、NER、依存構文解析、テキスト分類のためにフィンランド語データセットでファインチューニングし、学習率とエポック数のグリッド探索を行う。
• POS/解析には UD フィンランド語コーパス (TDT, FTB, PUD) を、NER には FiNER を用いて評価する；最先端のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 言語特化型のフィンランド語BERTは、コアのフィンランド語NLPタスクで多言語BERTを上回るか。
• RQ2 FinBERT は M-BERT および従来の手法より、POS タグ付け、NER、依存構文解析をどの程度改善するか。
• RQ3 異なるデータレジームにおいて、FinBERT はフィンランド語のテキスト分類と検証タスクでどのように機能するか？
• RQ4 トークナイゼーション語彙と大文字小文字の区別が、フィンランド語BERTのパフォーマンスに与える影響は？
• RQ5 事前学習データと評価データのドメイン一致が、モデルの性能にどのように影響するか？

主な発見

• FinBERT は、複数のフィンランド語コーパスにわたり、3つのコアタスクすべて（POS tagging、NER、依存構文解析）で一貫して M-BERT および従来手法を上回る。
• POS tagging では、FinBERT で大文字区別ありが CoNLL’18 の最良結果を最大 1.7 ポイント上回り得る；小文字区別の FinBERT もいくつかのケースで大文字区別ありと競合する。
• NER では、FinBERT（両方のバリアント）はインドメインで M-BERT および FiNER-tagger を上回り、FinBERT の大文字区別ありがインドメインで F1 81.47 を達成; インドメドン外でも FinBERT は M-BERT を上回る。
• 依存構文解析では、Udify を FinBERT と組み合わせるとすべてのフィンランド語ツリーバンクで最先端LASを達成し、従来ベストより 2.3–3.6 ポイント改善; 一般に大文字区別あり FinBERT が小文字区別ありを上回る。
• テキスト分類では FinBERT が M-BERT を上回り、特に小規模な訓練データで顕著; ドメイン不一致（ニュース対議論）は利得に影響を与え、FinBERT は非公式フィンランド語に合致した事前学習データの利点を受ける。