[論文レビュー] GigaBERT: Zero-shot Transfer Learning from English to Arabic

Wuwei Lan, Yang Chen+2 more|arXiv (Cornell University)|Apr 30, 2020

Natural Language Processing Techniques被引用数 21

ひとこと要約

GigaBERTは、アラビア語自然言語処理のための特別に設計された二言語Bertモデルであり、4つの情報抽出タスクにおいて英語からアラビア語へのゼロショット転移を効果的に行える。mBERT、XLM-RoBERTa、AraBERTを著しく上回り、低リソースなアラビア語NLPにおける強力なクロスリンガル転移能力を示している。

ABSTRACT

Multilingual pre-trained Transformers, such as mBERT (Devlin et al., 2019) and XLM-RoBERTa (Conneau et al., 2020a), have been shown to enable the effective cross-lingual zero-shot transfer. However, their performance on Arabic information extraction (IE) tasks is not very well studied. In this paper, we pre-train a customized bilingual BERT, dubbed GigaBERT, that is designed specifically for Arabic NLP and English-to-Arabic zero-shot transfer learning. We study GigaBERT's effectiveness on zero-short transfer across four IE tasks: named entity recognition, part-of-speech tagging, argument role labeling, and relation extraction. Our best model significantly outperforms mBERT, XLM-RoBERTa, and AraBERT (Antoun et al., 2020) in both the supervised and zero-shot transfer settings. We have made our pre-trained models publicly available at this https URL.

研究の動機と目的

• 既存の多言語モデルがアラビア語情報抽出タスクで限界に達している問題に対処すること。
• 特別に設計された二言語Bertモデルの事前学習により、英語からアラビア語へのゼロショット転移を改善すること。
• GigaBERTの有効性を、名前付きエンティティ認識、品詞タグ付け、アーギュメントロールラベル付け、関係抽出を含む複数のアラビア語NLPタスクで評価すること。
• アラビア語NLPおよびクロスリンガル転移に特化した、公開可能な高パフォーマンスモデルを提供すること。

提案手法

• 大規模な単語言語のアラビア語および英語コーパス上で、GigaBERTと呼ばれる二言語Bertモデルを事前学習し、クロスリンガル表現学習を強化すること。
• 下流タスク用に英語ラベル付きデータでGigaBERTを微調整し、アラビア語データへの微調整なしにゼロショット転移を評価すること。
• BERTのアーキテクチャ的利点を活かし、英語とアラビア語の意味的表現を一致させること。
• 一般化および低リソース環境における頑健性を向上させるために、大規模かつ多様な多言語データセットを使用すること。
• 転移効果を評価するために、4つの異なる情報抽出タスクで性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 特別に設計された二言語Bertモデルは、NLPタスクにおいて英語からアラビア語へのゼロショット転移性能を著しく向上させることができるか？
• RQ2 GigaBERTは、アラビア語IEタスクにおけるゼロショットおよび教師あり設定で、mBERT、XLM-RoBERTa、AraBERTと比較してどのように差をつけるか？
• RQ3 アラビア語と英語の二言語事前学習は、低リソース言語のためのクロスリンガル整合性をどの程度向上させるか？
• RQ4 GigaBERTは、アラビア語における多様な情報抽出タスクに効果的に一般化するか？

主な発見

• GigaBERTは、4つの情報抽出タスクにおいて、英語からアラビア語へのゼロショット転移で最先端のパフォーマンスを達成した。
• モデルは、アラビア語NER、品詞タグ付け、アーギュメントロールラベル付け、関係抽出の両方の設定で、mBERT、XLM-RoBERTa、AraBERTを著しく上回った。
• 結果から、特別に設計された二言語事前学習が、特にアラビア語のような低リソース言語においてクロスリンガル転移を強化することを示している。
• パフォーマンスの向上は、複数のNLPタスクにわたって一貫しており、GigaBERTの広範な適用可能性と頑健性を示している。