[論文レビュー] Multilingual Constituency Parsing with Self-Attention and Pre-Training

Nikita Kitaev, Steven Cao+1 more|arXiv (Cornell University)|Dec 31, 2018

Topic Modeling参考文献 16被引用数 17

ひとこと要約

本稿では、自己注意機構と事前学習を活用した多言語構文解析器を提案し、11言語で最先端の性能を達成する。10言語で一括微調整することで、モデルサイズを10倍に削減し、F1スコアの相対誤差は3.2%増加に抑えつつ、低リソース言語がパラメータ共有と一括最適化により大規模な学習データの恩恵を受けることを可能にする。

ABSTRACT

We show that constituency parsing benefits from unsupervised pre-training across a variety of languages and a range of pre-training conditions. We first compare the benefits of no pre-training, fastText, ELMo, and BERT for English and find that BERT outperforms ELMo, in large part due to increased model capacity, whereas ELMo in turn outperforms the non-contextual fastText embeddings. We also find that pre-training is beneficial across all 11 languages tested; however, large model sizes (more than 100 million parameters) make it computationally expensive to train separate models for each language. To address this shortcoming, we show that joint multilingual pre-training and fine-tuning allows sharing all but a small number of parameters between ten languages in the final model. The 10x reduction in model size compared to fine-tuning one model per language causes only a 3.2% relative error increase in aggregate. We further explore the idea of joint fine-tuning and show that it gives low-resource languages a way to benefit from the larger datasets of other languages. Finally, we demonstrate new state-of-the-art results for 11 languages, including English (95.8 F1) and Chinese (91.8 F1).

研究の動機と目的

• 無教師事前学習が多様な言語および事前学習手法を対象に多言語構文解析に与える影響を調査すること。
• 言語ごとに別々の大きなモデルを学習する際の計算コストを低減するため、一括多言語微調整によるパラメータ共有を検討すること。
• 高リソース言語からのデータを活用することで、低リソース言語の性能向上が一括学習によって達成されるかどうかを評価すること。
• 精度、モデル効率性、スケーラビリティの観点から、単言語学習と多言語学習の事前学習および微調整戦略を比較すること。
• 特に低リソース言語において、一括学習が性能向上をもたらす条件を特定すること。

提案手法

• 自己注意機構とスパンベーススコアリングに基づくニューラル構文解析器を採用し、入力表現はBERTの最終層から得る。
• BERTのサブワードトークン表現に学習された投影を適用して単語アラインド表現を取得し、その後2層のMLPスパン分類器に供給する。
• 10言語で共通のBERTと自己注意エンコーダーを用い、言語固有のMLP分類器を出力ラベル付けに使用する一括多言語微調整を実施する。
• 言語固有の出力層を除くすべてのパラメータを共有することで、モデルサイズを10倍に削減し、複数言語にわたる効率的な学習を可能にする。
• 一括学習中に、木構造語彙（treebank）サイズが異なる言語のサンプリング確率をバランスさせるために、減衰係数0.7の指数平滑化を適用する。
• 一括学習では学習率5×10⁻⁵、バッチサイズ256で、BERTパラメータをエンドツーエンドに微調整する。単言語学習では、学習率5×10⁻⁵、バッチサイズ32を用いる。

実験結果

リサーチクエスチョン

• RQ1 BERT、ELMo、fastText、または文脈なし埋め込みを用いた事前学習が、複数言語における構文解析精度に与える影響はいかほどか？
• RQ2 独立した単言語モデルと比較して、一括多言語微調整はモデルサイズをどの程度削減しつつ、構文解析性能を維持できるか？
• RQ3 どの言語ペアが一括微調整で最も利益を得るか？また、共有学習における言語間の適合性に影響を与える要因は何か？
• RQ4 高リソース言語と併用した一括学習により、低リソース言語が構文解析精度を向上させられるか？
• RQ5 ラベル付きデータが限られる状況でも、一括学習がパラメータ共有を超えたクロスリンガル一般化をもたらすか？

主な発見

• BERTは11言語すべてでELMoやfastTextを上回り、英語ではF1 95.8、中国語ではF1 91.8という新しいSOTAを達成した。
• 一括多言語微調整により、言語ごとに別々にモデルを学習する場合と比較して、モデルサイズを10倍に削減し、集計F1の相対誤差は3.2%増加に抑えられた。
• 一括モデルは10言語の平均F1が91.12を記録し、重いパラメータ共有にもかかわらず、単言語モデル（F1 88.32）を上回った。
• スウェーデン語、フランス語、ポーランド語などの低リソース言語は、特に英語、ドイツ語、韓国語といった高リソース言語と組み合わせた一括学習で最大の向上を示した。
• 一括学習における言語適合性は言語の類縁性と強く相関していないが、木構造語彙のラベル付けルールとデータサイズに影響を受ける。
• ペア微調整実験の結果、大きな語彙（例：英語、ドイツ語、韓国語）は効果的な補助タスクとして機能し、小さな語彙は一括学習から最も利益を得た。