[論文レビュー] Small and Practical BERT Models for Sequence Labeling

Henry Tsai, Jason Riesa+4 more|arXiv (Cornell University)|Aug 31, 2019

Natural Language Processing Techniques参考文献 10被引用数 17

ひとこと要約

本論文は、70個のtreebank（48言語）で最先端の性能を達成するが、標準のBERTと比較して6倍小さく、27倍速く、低リソース言語において優れた性能を示し、明示的な学習を経ていないコードミックスド入力に対しても頑健な、小型で効率的な多言語BERTモデルを提案する。

ABSTRACT

We propose a practical scheme to train a single multilingual sequence labeling model that yields state of the art results and is small and fast enough to run on a single CPU. Starting from a public multilingual BERT checkpoint, our final model is 6x smaller and 27x faster, and has higher accuracy than a state-of-the-art multilingual baseline. We show that our model especially outperforms on low-resource languages, and works on codemixed input text without being explicitly trained on codemixed examples. We showcase the effectiveness of our method by reporting on part-of-speech tagging and morphological prediction on 70 treebanks and 48 languages.

研究の動機と目的

• 単一の小型で実用的な多言語モデルを構築し、1つのCPU上で実行可能である一方で高い精度を維持すること。
• 多言語環境下での言語間転送を活用し、低リソース言語の性能を向上させること。
• 明示的な学習を経ていないコードミックスド入力に対しても、頑健な推論を可能にすること。
• 大規模な多言語BERTモデルが達成する性能の向上を維持しながら、モデルサイズと推論遅延を削減すること。
• 知識蒸留が、Meta-LSTMなどの強力なベースラインを上回るコンactなモデルを生成できることを示すこと。

提案手法

• 104言語で事前学習された大文字小文字区別型多言語BERTモデルを、各トークンの最初のサーバーワード部分に対してソフトマックス層を適用することで、序列ラベル付けタスク用に微調整する。
• 知識蒸留を用いて、大規模な多言語BERTモデルを、隠れ層サイズ（256ユニット）を削減し、3層のみにした小型で高速なモデル（MiniBERT）に圧縮する。
• 教師モデルからのソフトラベルを用いて、高性能な予測を保持しつつ、コンactなアーキテクチャでモデルを学習する。
• 全48言語にわたる統一された学習設定を採用し、すべてのtreebankからの例を連結・シャッフルして学習することで、統合的な多言語学習を可能にする。
• 70個のtreebankで、Universal Dependencies 2.7データセットを用いて、品詞タグ付けおよび語彙素性特徴予測の両方を評価する。
• コードミックスドのヒンディ語-英語データに対して、このような例を微調整なしにテストし、モデルが文脈から言語境界を推論できる能力に依存する。

実験結果

リサーチクエスチョン

• RQ1 1つの多言語モデルが、48の多様な言語で序列ラベル付けタスクにおいて最先端の性能を達成しつつ、小型で効率的であることは可能か？
• RQ2 知識蒸留は、大規模な多言語BERTモデルの性能を保持しつつ、モデルサイズと推論遅延を著しく削減できるか？
• RQ3 蒸留された多言語モデルは、低リソース言語において、言語特化型または多言語ベースラインと比較してどのように性能を発揮するか？
• RQ4 多言語モデルは、明示的な学習を経ていないコードミックスド入力に対しても一般化可能か？
• RQ5 高リソース言語から低リソース言語への言語間転送は、多言語環境下で性能をどの程度向上させるか？

主な発見

• 蒸留モデル（m MiniBERT）は、元の多言語BERTモデルと比較して6倍小さく、27倍速く、CPU上で推論にわずか8.5msで実行可能である。
• m MiniBERTは、低リソース言語（例：カザフ語、マラーティ語）で平均81.4のPOS F1を達成し、多言語Meta-LSTM（52.9 F1）を上回り、BERTベースのベースラインと同等またはそれを上回る性能を示した。
• ヒンディ語-英語のコードミックスド品詞タグ付けタスクでは、m MiniBERTが79.5 F1を達成し、訓練中にコードミックスドデータを一切見ないまま、教師モデル（90.6 F1）の10ポイント以内に近い性能を発揮した。
• 多言語BERTモデル（m BERT）は、ベラルーシー語で95.0 F1、リトアニア語で90.0 F1を達成しており、いずれの言語についても、個別の言語モデルやベースラインよりも高い性能を示した。
• 500件未満の訓練例を有する言語において、m MiniBERTは多言語Meta-LSTMおよび個別BERTモデルを上回り、強力なゼロショット言語間転送能力を示した。
• 蒸留モデルは、大規模な多言語BERTモデルの95％の性能を維持しながら、著しく効率的であるため、CPUオンリーシステムにおける実世界のデプロイに実用的である。