[論文レビュー] Toward Efficient Language Model Pretraining and Downstream Adaptation via Self-Evolution: A Case Study on SuperGLUE

Qihuang Zhong, Liang Ding+12 more|arXiv (Cornell University)|Dec 4, 2022

Topic Modeling被引用数 14

ひとこと要約

本論文は、自己進化学習による効率的な事前学習と、知識蒸留に基づくプロンプト転送による微調整を用いることで、8つのSuperGLUEタスクのうち4つで最先端の性能を達成する6Bパラメータの言語モデルVega v2を提示する。このモデルは、パラメータ数が540BのPaLMよりも優れた性能を示しており、パラメータ効率性と知的知識抽出が、単なるスケーリングに比べて優れていることを示している。

ABSTRACT

This technical report briefly describes our JDExplore d-team's Vega v2 submission on the SuperGLUE leaderboard. SuperGLUE is more challenging than the widely used general language understanding evaluation (GLUE) benchmark, containing eight difficult language understanding tasks, including question answering, natural language inference, word sense disambiguation, coreference resolution, and reasoning. [Method] Instead of arbitrarily increasing the size of a pretrained language model (PLM), our aim is to 1) fully extract knowledge from the input pretraining data given a certain parameter budget, e.g., 6B, and 2) effectively transfer this knowledge to downstream tasks. To achieve goal 1), we propose self-evolution learning for PLMs to wisely predict the informative tokens that should be masked, and supervise the masked language modeling (MLM) process with rectified smooth labels. For goal 2), we leverage the prompt transfer technique to improve the low-resource tasks by transferring the knowledge from the foundation model and related downstream tasks to the target task. [Results] According to our submission record (Oct. 2022), with our optimized pretraining and fine-tuning strategies, our 6B Vega method achieved new state-of-the-art performance on 4/8 tasks, sitting atop the SuperGLUE leaderboard on Oct. 8, 2022, with an average score of 91.3.

研究の動機と目的

• 固定されたパラメータ予算（6Bパラメータ）内で事前学習言語モデル（PLM）の学習効率と効果を向上させること。
• 自己質問を通じて情報量の多いトークンを特定・マスクすることで、事前学習データからの知識抽出を強化すること。
• 知識蒸留に基づくプロンプト転送を用いて、特にリソースが限られたタスクの微調整を改善すること。
• パラメータ効率的で知識最大化戦略が、PaLMのような大規模スケールモデルを上回ることを示すこと。
• 任意のモデルスケーリングなしに、効率的で高性能なPLMのトレーニングとファインチューニングのフレームワークを確立すること。

提案手法

• 自己進化学習を提案：モデルが自己質問を実行し、マスク言語モデル（MLM）の過程でマスク対象となる難易度の高い情報量の多いトークンを特定する。
• MLMプロセスを監督するために補正された滑らかなラベルを用い、学習の安定性と知識保持を向上させる。
• 基礎モデルと関連する下流タスクからの知識を、リソースが限られたターゲットタスクへと転送する知識蒸留に基づくプロンプト転送手法を採用する。
• 6Bパラメータに最適化されたエンコーダー専用のトランスフォーマーベースボディを採用：24層、4096の隠れ層サイズ、16,384のFFNサイズ、32ヘッド。
• 高リソースタスクには敵対的およびトランスダクティブファインチューニングを適用し、全段階でAdamW最適化手法を用いた全パラメータチューニングを実施する。
• リソースが限られたタスク（例：CB、COPA、WSC）の耐性と性能向上を図るためにプロンプト転送を活用する。

実験結果

リサーチクエスチョン

• RQ1 540Bパラメータにまでスケーリングしない6Bパラメータの言語モデルが、SuperGLUEで最先端の性能を達成できるか？
• RQ2 自己進化学習は、マスク対象となる情報量の多いトークンを特定することで、事前学習段階における知識抽出をどのように向上させるか？
• RQ3 知識蒸留に基づくプロンプト転送は、リソースが限られたSuperGLUEタスクにおける性能向上にどの程度寄与するか？
• RQ4 事前学習とファインチューニング戦略を最適化することで、単にモデルサイズを増やすのと比較して、より優れた結果が得られるか？
• RQ5 補正された滑らかなラベルは、知識抽出におけるマスク言語モデルの有効性を向上させることができるか？

主な発見

• 2022年10月8日現在、Vega v2はSuperGLUEリーダーボードで平均スコア91.3を達成し、新記録を樹立し、総合1位となった。
• 8つのタスクのうち4つ（CB：98.6％、COPA：99.2％、RTE：62.4％、WSC：93.9％）で最先端性能を達成し、公式のSuperGLUEベースラインを顕著に上回った。
• 6Bパラメータという限定的な規模にもかかわらず、Vega v2は平均スコア91.3（PaLM：90.4）で540BパラメータのPaLMモデルを上回り、優れたパラメータ効率性を示した。
• 自己進化学習機構により、事前学習データからの情報パターンの抽出能力が向上し、知識の活用が促進された。
• プロンプト転送戦略により、過学習が抑制され、CB、COPA、WSCなどのリソースが限られたタスクでの性能が向上した。
• 知的で効果的な事前学習とターゲットに特化した下流タスクへの適応が、単なるスケーリングに比べて優れていることが示され、より大きなモデルが常に優れるという仮定に疑問を呈した。