[論文レビュー] When Do You Need Billions of Words of Pretraining Data?

Yian Zhang, Alex Warstadt+2 more|arXiv (Cornell University)|Nov 10, 2020

Topic Modeling参考文献 46被引用数 16

ひとこと要約

この論文は、RoBERTa風の言語モデルが言語的および下流のNLU能力を習得するために、どの程度の事前学習データが必要かを調査している。100万〜10億語のデータで事前学習されたMiniBERTaモデルを用い、4つのプローブ手法を適用した結果、構文的および意味的特徴は主に1億語の時点で学習されているが、下流のNLUタスクでの顕著な改善には数十億語のデータが必要であることが判明した。これは、言語構造そのものよりも、一般的常識やタスク固有の知識がスケールに伴う性能向上の主な要因であることを示している。

ABSTRACT

NLP is currently dominated by general-purpose pretrained language models like RoBERTa, which achieve strong performance on NLU tasks through pretraining on billions of words. But what exact knowledge or skills do Transformer LMs learn from large-scale pretraining that they cannot learn from less data? We adopt four probing methods---classifier probing, information-theoretic probing, unsupervised relative acceptability judgment, and fine-tuning on NLU tasks---and draw learning curves that track the growth of these different measures of linguistic ability with respect to pretraining data volume using the MiniBERTas, a group of RoBERTa models pretrained on 1M, 10M, 100M and 1B words. We find that LMs require only about 10M or 100M words to learn representations that reliably encode most syntactic and semantic features we test. A much larger quantity of data is needed in order to acquire enough commonsense knowledge and other skills required to master typical downstream NLU tasks. The results suggest that, while the ability to encode linguistic features is almost certainly necessary for language understanding, it is likely that other forms of knowledge are the major drivers of recent improvements in language understanding among large pretrained models.

研究の動機と目的

• 言語モデルが文法的・意味的特徴の核となるものを学習するために必要な最小限の事前学習データ量を特定すること。
• 下流のNLUタスクで高い性能を発揮するためには、大規模な事前学習（数十億語）が必要かどうかを調査すること。
• 大規模モデルにおける性能向上の要因としての言語表現学習と、他の知識タイプ（例：一般的常識）の寄与を分離して評価すること。
• 複数のプローブ手法が、データスケールに応じた言語的知識習得をどの程度的確に測定できるかを比較評価すること。
• 100万語から10億語の範囲、および約300億語で事前学習されたフルスケールのRoBERTaモデルを含む、さまざまなデータ量におけるモデル性能を比較すること。

提案手法

• WikipediaとSmashwordsのデータから100万語、1000万語、1億語、10億語のデータで、複数のランダムシードを用いてRoBERTaモデル（MiniBERTa）を訓練し、結果の整合性を確保する。
• 4つのプローブ手法を適用：(1) エッジプローブスイート上での分類器プローブにより、抽出可能な構文的および意味的特徴を評価；(2) 最小記述長（MDL）プローブにより、特徴のアクセス可能性を測定；(3) BLiMPベンチマーク上での非教師あり受容可能性判断により、構文的現象の理解度を評価；(4) SuperGLUEの5つのタスクでの微調整により、下流のNLU性能を評価。
• すべてのプローブスコアを最小-最大正規化により[0,1]の範囲にスケーリングし、0は最も性能が低いモデル（例：ランダム初期化）を、1は最も高いモデル（例：RoBERTa BASE）を表す。
• 学習曲線にロジスティック曲線をフィッティングし、異なるデータ量における性能向上の様子を可視化・比較する。
• RoBERTa BASE（300億語）を高容量のベンチマークとして用い、スケールでの性能を比較する。
• 複数のプローブ手法の結果を統合して分析し、特定の指標に依存しすぎないよう、一貫性を確認する。

実験結果

リサーチクエスチョン

• RQ1 RoBERTaモデルはどのデータスケールで、構文的および意味的特徴の核となるものを信頼性を持って表現し始めるか？
• RQ2 下流のNLUタスク（例：SuperGLUE）における性能は、事前学習データ量の増加に伴いどのように変化するか？
• RQ3 1億語を超えたデータ量で、言語的特徴（例：一致、束縛）はどの程度向上するか？
• RQ4 なぜNLUタスクの性能向上には、言語的特徴習得よりもはるかに多くのデータ（数十億語）が必要とされるのか？
• RQ5 NLUタスクにおける性能向上は、言語的知識に起因するのか、それとも一般的常識や世界知識などの他の知識タイプに起因するのか？

主な発見

• 1億語で事前学習されたモデルは、約300億語で事前学習されたRoBERTa BASEと同程度の言語的プローブタスク性能を達成しており、差はほとんど認められない。
• 分類器プローブとMDLプローブの両方で、構文的および意味的特徴は1億語の時点で主に習得されており、それ以上のデータ量ではほとんど向上しない。
• BLiMPベンチマーク上での非教師あり受容可能性判断では、1000万語までに構文的知識が急速に向上するが、1億語を超えると収束傾向を示す。
• SuperGLUEタスクにおける下流のNLU性能は、1億語を超えた段階で顕著な向上を示し、10億語に達するまで継続的な改善が見られる。
• 1億語モデルと300億語モデルの間のSuperGLUEでの性能差は顕著であり、これは一般的常識やタスク固有の知識が言語構造の習得よりもはるかに多くのデータを必要としていることを示している。
• 結果から、言語理解に言語表現が不可欠である一方で、それだけでは不十分であり、スケールに伴う性能向上の主な要因は他の知識タイプであると考えられる。