[論文レビュー] Load What You Need: Smaller Versions of Multilingual BERT

Amine Abdaoui, Camille Pradel+1 more|arXiv (Cornell University)|Oct 12, 2020

Topic Modeling参考文献 14被引用数 9

ひとこと要約

本稿では、多言語 BERT のパラメータ数を削減するため、対応言語数を減らし、パラメータの大部分を占める埋め込み層に焦点を当てた、より小型で効率的なバージョンの提案を行う。特定の言語サブセットで訓練されたモデルにより、最大45%のパrameter削減を達成しつつ、XNLI での性能は同等を維持しており、DistilM-BERT などの蒸留モデルとは異なり、1.7%〜6% の精度低下を示さない。

ABSTRACT

Pre-trained Transformer-based models are achieving state-of-the-art results on a variety of Natural Language Processing data sets. However, the size of these models is often a drawback for their deployment in real production applications. In the case of multilingual models, most of the parameters are located in the embeddings layer. Therefore, reducing the vocabulary size should have an important impact on the total number of parameters. In this paper, we propose to generate smaller models that handle fewer number of languages according to the targeted corpora. We present an evaluation of smaller versions of multilingual BERT on the XNLI data set, but we believe that this method may be applied to other multilingual transformers. The obtained results confirm that we can generate smaller models that keep comparable results, while reducing up to 45% of the total number of parameters. We compared our models with DistilmBERT (a distilled version of multilingual BERT) and showed that unlike language reduction, distillation induced a 1.7% to 6% drop in the overall accuracy on the XNLI data set. The presented models and code are publicly available.

研究の動機と目的

• 実世界の展開において、大規模な多言語 BERT モデルの高い計算コストを軽減すること。
• 対応言語数を減らすことで、性能を損なわずモデルサイズを顕著に削減できるかどうかを調査すること。
• 特定の言語ニーズに合わせた、より小型で効率的な多言語 BERT の変種を開発すること。
• 知識蒸留と比較して、言語数削減がモデル圧縮戦略としてどれほど有効であるかを検証すること。
• ターゲット言語コーパスに最適化された、公開可能な小型多言語 BERT モデルを提供すること。

提案手法

• 著者らは、ターゲットコーパスに関連する言語のみを選択することで、より小型な多言語 BERT モデルを訓練し、語彙サイズを削減する。
• 多言語 BERT におけるパラメータの大部分を占める埋め込み層を、主な圧縮対象として焦点を当てる。
• 自然言語推論の多言語間評価を目的として、XNLI ベンチマーク上でモデルをファインチューニングする。
• 言語数削減モデルの性能を、多言語 BERT の蒸留版である DistilM-BERT と比較する。
• トレーニングと評価は、XNLI データセット上で標準的な BERT ファインチューニングプロトコルに従って実施する。
• 得られたモデルは公開され、低リソース環境での研究および展開を支援する。

実験結果

リサーチクエスチョン

• RQ1 多言語 BERT の言語数を減らすことで、性能を損なわずモデルサイズを顕著に削減できるか？
• RQ2 精度とパrameter効率の観点から、言語数削減は知識蒸留と比べてどの程度優れているか？
• RQ3 特定のアプリケーションに必要な言語のみを対象とすることで、どの程度モデルサイズを削減できるか？
• RQ4 言語数を減らした小型モデルの性能は、DistilM-BERT のような蒸留モデルと同等に保たれるか？
• RQ5 タスク特化型の小型多言語 BERT モデルは、生産環境で効果的に訓練および展開可能か？

主な発見

• 提案された言語削減モデルは、完全な多言語 BERT と比較して、最大45%のパラメータ削減を達成した。
• 言語削減モデルは、XNLI ベンチマークにおいて完全な多言語 BERT と同等の性能を維持しており、精度低下は最小限に抑えられた。
• 蒸留とは異なり、言語削減では顕著な精度低下が生じなかった一方で、DistilM-BERT は全体の精度が1.7%〜6%低下した。
• 複数の言語サブセットにおいてもこの手法は有効であることが示され、特定の言語ニーズに合わせたカスタマイズにより、性能を損なわずモデルサイズを削減できることが確認された。
• 著者らは、埋め込み層が多言語 BERT におけるパラメータの肥大化の主な要因であることを確認した。これにより、言語削減は非常に効果的な圧縮戦略であると判明した。
• 公開されたモデルは、ターゲットアプリケーション向けに小型で効率的な多言語モデルを展開するため、研究者や実務家が活用できる。