[論文レビュー] AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing

Katikapalli Subramanyam Kalyan, Ajit Rajasekharan+1 more|arXiv (Cornell University)|Aug 12, 2021

Topic Modeling参考文献 296被引用数 38

ひとこと要約

トランスフォーマーをベースにした事前学習済み言語モデル（T-PTLMs）の総合的な調査であり、自己教師付き学習の基礎、事前学習方法/タスク、新しい分類法、下流適応、ベンチマーク、ライブラリ、将来の研究方向を網羅する。

ABSTRACT

Transformer-based pretrained language models (T-PTLMs) have achieved great success in almost every NLP task. The evolution of these models started with GPT and BERT. These models are built on the top of transformers, self-supervised learning and transfer learning. Transformed-based PTLMs learn universal language representations from large volumes of text data using self-supervised learning and transfer this knowledge to downstream tasks. These models provide good background knowledge to downstream tasks which avoids training of downstream models from scratch. In this comprehensive survey paper, we initially give a brief overview of self-supervised learning. Next, we explain various core concepts like pretraining, pretraining methods, pretraining tasks, embeddings and downstream adaptation methods. Next, we present a new taxonomy of T-PTLMs and then give brief overview of various benchmarks including both intrinsic and extrinsic. We present a summary of various useful libraries to work with T-PTLMs. Finally, we highlight some of the future research directions which will further improve these models. We strongly believe that this comprehensive survey paper will serve as a good reference to learn the core concepts as well as to stay updated with the recent happenings in T-PTLMs.

研究の動機と目的

• T-PTLMsの自己教師付き学習の基礎について、構造化された概要を提供する。
• 事前学習コーパス、アーキテクチャ、SSLのタイプ、拡張に基づくT-PTLMsの新しい分類法を導入する。
• 事前学習方法、タスク、埋め込み、下流適応技術を要約する。
• 内在的および外在的な評価ベンチマークと有用なライブラリをレビューする。
• T-PTLMsの開発を指導するための将来の研究方向を論じる。

提案手法

• T-PTLMsのバックボーンとしての自己教師付き学習の徹底的な概要を提示する。
• 事前学習、事前学習方法、事前学習タスク、埋め込み、下流適応といった核心概念を説明する。
• コーパス、アーキテクチャ、SSL、拡張に跨るT-PTLMsの新しい分類法を提案する。
• 内在的・外在的ベンチマークと既存のライブラリをレビューする。
• 分野の将来の研究方向と解決すべき課題を強調する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤の事前学習済み言語モデルにおける自己教師付き学習の基礎概念と動機は何か？
• RQ2 事前学習コーパス、アーキテクチャ、SSLのタイプ、拡張などの軸に沿ってT-PTLMsをどのように分類（分類法）できるか？
• RQ3 T-PTLMsで用いられる主な事前学習方法、タスク、埋め込み戦略は何か？
• RQ4 T-PTLMsを評価するために用いられる下流適応法と評価ベンチマークは何か？
• RQ5 T-PTLMsの作業をサポートするライブラリとツールは何であり、分野の進展を促進しそうな将来の方向性は何か？

主な発見

• 事前学習コーパス、アーキテクチャ、SSL、拡張に基づくT-PTLMsの新しい分類法を特定する。
• 事前学習の中核概念と手順を統合し、コーパス準備、語彙生成、事前学習タスク、ダイナミクスを含む。
• 多様な事前学習方法（PTS、CPT、SPT、TAPT、KIPT）と知識継承アプローチの詳細。
• 特徴量ベース、ファインチューニング、プロンプトベースといった下流適応法と内在的・外在的評価ベンチマークをレビュー。
• 有用なライブラリ（例：Huggingface Transformers）をカタログ化し、効率性、堅牢性、プライバシーの将来の研究方向を概説。
• コア概念を学び、T-PTLMの最新動向を追うための構造化された参考資料を提供。