[論文レビュー] NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework

Xingcheng Yao, Yanan Zheng+2 more|arXiv (Cornell University)|Nov 7, 2021

Topic Modeling参考文献 38被引用数 11

ひとこと要約

本稿では、ラベル付きタスクデータをクエリとして用い、大規模な汎用コーパスからタスクに関連する小さなサブセットを検索することで、事前学習を必要としないTLMというフレームワークを提案する。この検索されたデータ上でタスク固有の目的関数と言語モデル学習の目的関数を同時に最適化することで、TLMはRoBERTa-Largeと同等またはそれ以上の性能を達成するとともに、学習に要するFLOPsを2桁削減する。

ABSTRACT

Pretrained language models have become the standard approach for many NLP tasks due to strong performance, but they are very expensive to train. We propose a simple and efficient learning framework, TLM, that does not rely on large-scale pretraining. Given some labeled task data and a large general corpus, TLM uses task data as queries to retrieve a tiny subset of the general corpus and jointly optimizes the task objective and the language modeling objective from scratch. On eight classification datasets in four domains, TLM achieves results better than or similar to pretrained language models (e.g., RoBERTa-Large) while reducing the training FLOPs by two orders of magnitude. With high accuracy and efficiency, we hope TLM will contribute to democratizing NLP and expediting its development.

研究の動機と目的

• 大規模な事前学習言語モデル（PLM）の学習にかかる高い計算コストが、リソースが限られた研究者にとってのアクセス障壁となっていることを是正すること。
• 標準的な事前学習・微調整のパラダイムに代わる代替手法を検討し、性能を損なわず学習FLOPsを大幅に削減すること。
• ラベル付きタスクデータと汎用コーパスのみを用いて、事前学習なしに効率的かつ低コストでモデルをから学習することにより、NLP研究の民主化を図ること。
• 大規模コーパスからタスクに関連するデータを検索することで、大規模な事前学習の必要性を代替できるかどうかを検証すること。その結果、モデルの有効性が維持されるかどうかを検討すること。

提案手法

• BM25という、語彙的類似度に基づくスパース検索手法を用い、ラベル付きタスクデータをクエリとして、大規模な汎用コーパスから小さな関連サブセットを抽出する。
• 抽出されたコーパスサブセットとラベル付きタスクデータを用いて、Transformerベースのモデルをから学習する。
• 2つの目的関数を同時に最適化する：(1) 指教師付きタスクの目的関数（例：分類損失）と(2) 抽出されたコーパスサブセットにおけるマスクされた言語モデル学習の目的関数。
• 標準的なTransformerアーキテクチャ（多頭注意機構とフィードフォワードネットワークを備える）を採用し、事前学習ステージを一切経ずにエンドツーエンドで学習する。
• FLOPsとモデルサイズの観点で、RoBERTa-LargeなどのベースラインPLMと同等または類似するように、モデルサイズと学習計算量を制御する。
• 検索に基づくフィルタリング機構を導入し、汎用コーパスに内在するインダクティブバイアスを低減し、下流タスクに関連する知識に限定する。

実験結果

リサーチクエスチョン

• RQ1 大規模な事前学習を一切行わないモデルが、NLPタスクで競争力のある性能を達成できるか？
• RQ2 大規模コーパスからわずかにタスクに関連するサブセットを抽出するだけで、大規模な事前学習の必要性を代替できるか？
• RQ3 限定的で選別されたコーパス上で、タスク固有の目的関数と言語モデル学習の目的関数を同時に最適化することで、完全な事前学習に比べてより良いか、同等の結果が得られるか？
• RQ4 標準的なPLMと比較して、モデル性能を維持または向上させつつ、学習FLOPsをどの程度削減できるか？
• RQ5 提案されたTLMフレームワークにおける注意パターンは、標準的なPLMとどのように異なるか？また、それらはより情報量の多い表現を学習していると示唆されるか？

主な発見

• TLMは8つのタスクで平均GLUEスコア82.60を達成し、BERT-Base（82.97）と同等であり、一部のベンチマークではRoBERTa-Largeを上回る性能を示した。
• ChemProt医薬品分類タスクにおいて、TLMはRoBERTa-Largeを上回り、事前学習なしで優れた性能を発揮した。
• TLMは学習FLOPsを2桁削減し、1,000台のV100 GPUを1日間使用して学習するのを8台のGPUで42時間で実現するに相当する。
• 注意可視化の結果、TLMはより情報量の多い注意パターンを学習しており、位置的ヘッドの割合が高く、[CLS]、[SEP]、ピリオドトークンに注目する垂直的ヘッド（縦方向の注目）が標準的なPLMよりも少ないことがわかった。
• BM25による検索は、医薬品分野やコンピュータサイエンスなどの専門分野におけるドメイン固有用語を効果的に捉えており、語彙的類似度の高さが裏付けられた。
• ニュース、レビュー、コンピュータサイエンス、医薬品科学など多様な分野で強力な性能を維持しており、本フレームワークの汎用性が確認された。