[論文レビュー] Pre-Trained Models: Past, Present and Future

Xu Han, Zhengyan Zhang+22 more|arXiv (Cornell University)|Jun 14, 2021

Topic Modeling参考文献 250被引用数 14

ひとこと要約

この論文は、トランスファーラーニングや自己教師あり学習から、BERT や GPT などの現代的な大規模アーキテクチャに至るまでの事前学習モデル（PTMs）の進化を追跡する包括的なサーベイを提供している。モデルアーキテクチャ、文脈の活用、効率性、解釈可能性に関する進歩をレビューするとともに、ドメイン適応、少サンプル学習、連続ベクタ空間における知識表現の性質といった未解決の課題を特定している。

ABSTRACT

Large-scale pre-trained models (PTMs) such as BERT and GPT have recently achieved great success and become a milestone in the field of artificial intelligence (AI). Owing to sophisticated pre-training objectives and huge model parameters, large-scale PTMs can effectively capture knowledge from massive labeled and unlabeled data. By storing knowledge into huge parameters and fine-tuning on specific tasks, the rich knowledge implicitly encoded in huge parameters can benefit a variety of downstream tasks, which has been extensively demonstrated via experimental verification and empirical analysis. It is now the consensus of the AI community to adopt PTMs as backbone for downstream tasks rather than learning models from scratch. In this paper, we take a deep look into the history of pre-training, especially its special relation with transfer learning and self-supervised learning, to reveal the crucial position of PTMs in the AI development spectrum. Further, we comprehensively review the latest breakthroughs of PTMs. These breakthroughs are driven by the surge of computational power and the increasing availability of data, towards four important directions: designing effective architectures, utilizing rich contexts, improving computational efficiency, and conducting interpretation and theoretical analysis. Finally, we discuss a series of open problems and research directions of PTMs, and hope our view can inspire and advance the future study of PTMs.

研究の動機と目的

• AI における事前学習の歴史的発展をたどること、特にトランスファーラーニングおよび自己教師あり学習からのルーツに焦点を当てる。
• 大規模事前学習モデルが現代の AI システムにおける基盤的バックボーンとして果たす役割を分析すること。
• 最近の PTM の進歩を駆動する主要な研究分野を特定・レビューすること、これにはアーキテクチャ設計、文脈モデリング、効率性、解釈可能性が含まれる。
• ドメイン適応、タスク固有のファインチューニング、および PTM に格納された知識の性質といった未解決問題を強調すること。
• 連続的知識表現および効果的な知識移転に関して、PTM の今後の展望を提示すること。

提案手法

• 2010年代前半から2021年までの事前学習の文献を体系的にレビューし、コンピュータビジョンおよび自然言語処理分野における主なマイルストーンに焦点を当てる。
• PTM の進歩を、効果的なアーキテクチャ、豊富な文脈の活用、計算効率、理論的解釈の4つの核心的分野に分類する。
• マスクド言語モデリング（MLM）、次文予測（NSP）、自己回帰的言語モデリングといった事前学習目的の分析。
• ドメイン特化型 PTM（例：BioBERT、SciBERT）と、それらが専門的な NLP タスクで示す性能の検証。
• 事前学習と下流ドメイン間の分布シフトを埋めるために、ファインチューニング戦略および適応技術の検討。
• 大規模 PTM のパラメータにどのように知識が符号化されているかを理論的・解釈的観点から分析し、「modeledge」としてフレームワーク化する。

実験結果

リサーチクエスチョン

• RQ1 事前学習は、初期のトランスファーラーニングおよび自己教師あり学習から、どのように現代の大規模 PTM に進化したのであろうか？
• RQ2 最近の PTM の成功を支える主な技術的要因は何か？ そして、これらは多様な NLP タスクにおける性能向上にどのように寄与しているのか？
• RQ3 なぜ単純なファインチューニングではドメイン特化応用に不十分なのであろうか？ また、分布シフトに対処するための適応戦略は何か？
• RQ4 PTM に格納された知識はどのように表現されているのか？ そして、構造的・有用性的観点から、「modeledge」と記号的知識とは何が異なるのか？
• RQ5 次世代の事前学習モデルに向けた、最も深刻な未解決課題および今後の研究分野は何か？

主な発見

• BERT や GPT といった大規模事前学習モデルは、下流の NLP タスクにおける事実上のバックボーンとなり、完全にランダムに初期化されたモデルをはるかに上回る性能を示している。
• 膨大な量のラベルなしデータに対する事前学習により、モデルは汎用的で一般化可能な表現を学習でき、低リソースおよび少サンプル設定でも良好に一般化する。
• ドメイン特化型 PTM（例：BioBERT、SciBERT）は、ドメイン固有のコーパスにさらされることで、専門的タスクにおいて優れた性能を発揮している。
• その成功にもかかわらず、大規模 PTM を下流タスクに単純にファインチューニングしても、ドメインシフトに対応できないことが多く、より洗練された適応技術の導入が不可欠である。
• PTM に格納された知識は、連続的・実数値のベクトルとして表現されており、これを「modeledge」と呼ぶ。これは、記号的・離散的知識表現とは根本的に異なる。
• 計算効率の向上、有効な少サンプル適応の実現、PTM の挙動および知識構成に関するより深い理論的理解の構築といった、依然として顕著な未解決課題が残っている。