[論文レビュー] Give your Text Representation Models some Love: the Case for Basque

Rodrigo Agerri, Iñaki San Vicente+5 more|arXiv (Cornell University)|Mar 31, 2020

Natural Language Processing Techniques参考文献 22被引用数 9

ひとこと要約

この論文は、より大規模で高品質なバスク語コーパス上で微調整された単言語テキスト表現モデル（FastText、Flair、BERT）が、下流の自然言語処理タスクにおいて、公開済みの多言語モデルを著しく上回ることを示している。著者らは、トピック分類、センチメント分析、品詞タグ付け、NERの4つのタスクで最先端の結果を達成し、単言語BERTeusモデルが多言語BERTに対して最高で10ポイントのF1スコア向上を達成した。

ABSTRACT

Word embeddings and pre-trained language models allow to build rich representations of text and have enabled improvements across most NLP tasks. Unfortunately they are very expensive to train, and many small companies and research groups tend to use models that have been pre-trained and made available by third parties, rather than building their own. This is suboptimal as, for many languages, the models have been trained on smaller (or lower quality) corpora. In addition, monolingual pre-trained models for non-English languages are not always available. At best, models for those languages are included in multilingual versions, where each language shares the quota of substrings and parameters with the rest of the languages. This is particularly true for smaller languages such as Basque. In this paper we show that a number of monolingual models (FastText word embeddings, FLAIR and BERT language models) trained with larger Basque corpora produce much better results than publicly available versions in downstream NLP tasks, including topic classification, sentiment classification, PoS tagging and NER. This work sets a new state-of-the-art in those tasks for Basque. All benchmarks and models used in this work are publicly available.

研究の動機と目的

• バスク語のような低リソース言語における既存の事前学習モデルの性能不足を是正するため、より大規模で高品質なコーパス上で単言語モデルを訓練すること。
• 専用の大規模バスク語コーパスから一から訓練した言語モデルが、公開済みの多言語モデルと比較して性能向上を達成するかどうかを調査すること。
• 226Mトークンのバスクメディアコーパスを用いてFastText、Flair、BERTモデルを訓練・評価することで、バスク語NLPにおける新たなSOTAを確立すること。
• コーパスのサイズと品質、および言語固有のサブワードトークン化が、低リソース言語におけるモデル性能に与える影響が重要であることを示すこと。
• すべてのモデルとベンチマークを公開することで、再現可能性およびバスク語NLP分野における今後の研究を支援すること。

提案手法

• バスクWikipediaと複数のメディア出典のニュース記事を統合した226Mトークンのバスクメディアコーパス（BMC）を収集・整備した。
• 標準的な事前学習手順を用いて、BMC上で単言語FastText単語埋め込み、Flair言語モデル、およびBERTモデル（名称：BERTeus）を訓練した。
• 特に構文的に豊富なバスク語に適した、言語固有のサブワードトークン化を採用し、解釈可能性と性能の両方を向上させた。
• トピック分類、センチメント分類、品詞タグ付け、NERの4つの下流タスクにおいて、公開済みの多言語モデル（例：mBERT）とモデル性能を直接比較した。
• 公平な比較を保証するため、標準的な評価プロトコルと指標（例：F1、正答率）を用いた。
• 再現可能性および再利用を目的として、Hugging FaceおよびIXA NLPグループの公開リポジトリを通じて、すべてのモデルとベンチマークを公開した。

実験結果

リサーチクエスチョン

• RQ1 より大規模で高品質なバスク語コーパス上で単言語テキスト表現モデルを訓練することで、既存の公開済み多言語モデルを著しく上回る性能向上が達成可能か？
• RQ2 226Mトークンのバスク語コーパス上で訓練された単言語BERTモデル（BERTeus）の性能が、多言語BERTモデル（mBERT）と比較して下流NLPタスクでどのように異なるか？
• RQ3 コーパスのサイズと品質、および言語固有のサブワードトークン化が、バスク語のような低リソース言語におけるモデル性能向上にどの程度寄与するか？
• RQ4 ドメイン特化コーパス（例：ニュース記事）上で訓練された単言語モデルが、汎用的多言語モデルを上回る性能を示すことは可能か？特にNERやセンチメント分類タスクにおいて。
• RQ5 専用で高品質なコーパスを用いることで、NERタスクにおける比喩的表現（例：メタフォル）の解釈が向上するか？

主な発見

• 単語言語モデルBERTeusは、4つの下流タスクすべてで、公式の多言語BERTを最高で10ポイントのF1スコア向上で上回った。
• バスクメディアコーパス上で訓練されたFastTextおよびFlairモデルは、トピック分類、センチメント分類、品詞タグ付け、NERの各タスクで、公開済みの対応モデルを常に上回る性能を達成した。
• BERTeusモデルは、'United States' や 'Western Europe' といった比喩的表現を正しく ORGANIZATION として分類したが、mBERTはこれらを LOCATION として誤分類した。これは、より優れた意味的解釈が可能であることを示している。
• BERTeusにおける言語固有のサブワードトークン化により、より解釈可能で言語学的に意味のあるサブワード（例：'Mediku' は 'doctor'、'aren' は所有格 's' を表す）が得られた。mBERTの短い、解釈が難しい分割とは対照的である。
• 性能向上の主な要因は、より大規模で高品質な訓練コーパスおよび単言語学習設定であり、アーキテクチャの変更によるものではない。
• すべてのモデルとベンチマークは、http://ixa2.si.ehu.es/text-representation-models/basque にて公開されており、再現可能性およびバスク語NLP分野における今後の研究を支援している。