[論文レビュー] A Primer on Pretrained Multilingual Language Models

Sumanth Doddapaneni, G. Ramesh+3 more|arXiv (Cornell University)|Jul 1, 2021

Domain Adaptation and Few-Shot Learning被引用数 43

ひとこと要約

アーキテクチャ、目的、データ、ベンチマーク、モノリンガルモデルとの比較性能、および今後の方向性を含む、MLLMs（多言語言語モデル）の調査。

ABSTRACT

Multilingual Language Models (\MLLMs) such as mBERT, XLM, XLM-R, extit{etc.} have emerged as a viable option for bringing the power of pretraining to a large number of languages. Given their success in zero-shot transfer learning, there has emerged a large body of work in (i) building bigger \MLLMs~covering a large number of languages (ii) creating exhaustive benchmarks covering a wider variety of tasks and languages for evaluating \MLLMs~ (iii) analysing the performance of \MLLMs~on monolingual, zero-shot cross-lingual and bilingual tasks (iv) understanding the universal language patterns (if any) learnt by \MLLMs~ and (v) augmenting the (often) limited capacity of \MLLMs~ to improve their performance on seen or even unseen languages. In this survey, we review the existing literature covering the above broad areas of research pertaining to \MLLMs. Based on our survey, we recommend some promising directions of future research.

研究の動機と目的

• MLLMsがどのように構築され、モデル間でどのように異なるかをレビューする。
• 事前学習に用いられる訓練目的（モノリンガルおよび平行）とデータソースを要約する。
• 言語とタスク全般でMLLMsを評価するために用いられるベンチマークを調査する。
• 特定の言語とタスクにおいてMLLMsがモノリンガルLMを上回るかを検討する。
• 未知の言語へMLLMsを拡張する方法を強調し、今後の方向性を提案する。

提案手法

• 代表的なMLLMのアーキテクチャとその設定（N, k, d, パラメータ）を列挙する。
• 事前学習目的の比較：MLM、CLM、MRTD、TLM、CAMLM、CLMLM、XLCO、HICTL、CLSA および関連手法。
• モノリンガル対平行目的の組み合わせとそれらのデータ要件を説明する。
• 事前学習データの選択と言語露出をバランスさせるための指数平滑化による言語サンプリングを説明する。
• XGLUE、XTREME、XTREME-R、XGLUE など、タスク全般の評価ベンチマークを要約する。
• クロスリンガル転送、二言語タスク、普遍的パターン仮説に関する知見を総合する。

実験結果

リサーチクエスチョン

• RQ1 さまざまなMLLMはどのように構築され、互いにどのように異なるのか？
• RQ2 MLLMを評価するためにどのようなベンチマークが用いられるのか？
• RQ3 特定の言語においてMLLMはモノリンガルLMより優れているのか？
• RQ4 MLLMはゼロショットのクロスリンガル転送や二言語タスクを可能にするのか？
• RQ5 MLLMは普遍的な言語パターンを示し、それを新しい言語へ拡張する方法を示しているか？

主な発見

• MLLMはアーキテクチャ、事前学習データ、対応言語、語彙サイズが異なり、高い容量のモデルは一般にベンチマークでより良い性能を示す。
• クロスリンガル転送能力は共有語彙、表現の整合、データサイズなどの要因に依存し、単一のモデルがすべての設定で一貫してモノリンガルLMを上回るわけではない。
• XGLUE、XTREME、XTREME-R などのベンチマークが、分類、構造予測、QA、検索タスクにおけるクロスリンガル性能を評価するために用いられる。
• ゼロショットのクロスリンガル転送と二言語タスクがMLLMから恩恵を受けるという証拠があるが、普遍的なインターリンガパターンはまだ確立されていない。
• 未知の言語へMLLMを拡張するには、ファインチューニング、アダプター、および他の拡張手法が考えられる。