[論文レビュー] Foundation Models for Natural Language Processing -- Pre-trained Language Models Integrating Media

Gerhard Paaß, Sven Giesselbach|arXiv (Cornell University)|Feb 16, 2023

Topic Modeling被引用数 10

ひとこと要約

自然言語処理におけるFoundation Modelsを紹介する調査。事前学習済み言語モデル、其のアーキテクチャ、訓練戦略、およびクロスメディア機能を詳述し、評価、倫理、社会的影響について論じる。

ABSTRACT

This open access book provides a comprehensive overview of the state of the art in research and applications of Foundation Models and is intended for readers familiar with basic Natural Language Processing (NLP) concepts. Over the recent years, a revolutionary new paradigm has been developed for training models for NLP. These models are first pre-trained on large collections of text documents to acquire general syntactic knowledge and semantic information. Then, they are fine-tuned for specific tasks, which they can often solve with superhuman accuracy. When the models are large enough, they can be instructed by prompts to solve new tasks without any fine-tuning. Moreover, they can be applied to a wide range of different media and problem domains, ranging from image and video processing to robot control learning. Because they provide a blueprint for solving many tasks in artificial intelligence, they have been called Foundation Models. After a brief introduction to basic NLP models the main pre-trained language models BERT, GPT and sequence-to-sequence transformer are described, as well as the concepts of self-attention and context-sensitive embedding. Then, different approaches to improving these models are discussed, such as expanding the pre-training criteria, increasing the length of input texts, or including extra knowledge. An overview of the best-performing models for about twenty application areas is then presented, e.g., question answering, translation, story generation, dialog systems, generating images from text, etc. For each application area, the strengths and weaknesses of current models are discussed, and an outlook on further developments is given. In addition, links are provided to freely available program code. A concluding chapter summarizes the economic opportunities, mitigation of risks, and potential developments of AI.

研究の動機と目的

• 注意機構を用いた言語モデルのコアとなるアーキテクチャタイプ（autoencoders、autoregressive、encoder-decoder）と、それらがどのようにPre-trained Language Models（PLMs）を形成するかを説明する。
• 大規模 PLMs を異なる言語とモダリティに跨るさまざまなタスクに対応させる、pre-training、fine-tuning、および prompting のパラダイムを説明する。
• Foundation Models がPLMsをマルチメディア入力（テキスト、音声、画像、動画）へ拡張する方法と、その潜在的な社会的・経済的影響を要約する。
• Foundation Models に関する知識統合、ベンチマーキング、再現性、倫理的懸念を含む方法論的考慮事項を評価する。

提案手法

• アーキテクチャタイプを分類する（autoencoderベース、autoregressive、sequence-to-sequence）し、それぞれのpre-training objectiveを説明する。
• パラメータ、データ、計算量を増やすことで性能を向上させるスケーリング法則について論じる。
• 予測を改善するための多言語訓練と追加知識の取り込みを説明する。
• タスク適応とfew-shot learningのための prompting および fine-tuning 戦略を説明する。
• クロスメディアトークン化（テキスト、画像パッチ、ビデオ tublets）とモダリティ間での自己注意の適用を概説する。
• Foundation Models の評価、信頼性、および再現性に対処する。

実験結果

リサーチクエスチョン

• RQ1 Foundation Models はアーキテクチャ、訓練、能力の点で従来のPLMsとどう異なるか？
• RQ2 Foundation Models における性能向上を推進する戦略（pre-trainingタスク、データ規模、多言語性、知識注入）は何か？
• RQ3 Foundation Models をマルチモーダルデータやクロスメディアタスクへ拡張するにはどうすればよいか？
• RQ4 Foundation Models の知識、推論能力、限界を明らかにするベンチマークとプロービング手法は何か、またその結果の再現性はどの程度か？

主な発見

• Foundation Models はパラメータ、データ、計算量を増やすことで高い性能を達成する。
• クロスメディア表現により、テキスト、音声、画像、動画を統合モデル内で処理できる。
• 大規模なPLMsはプロンプトやfew-shot learningによって指示され、最小限のファインチューニングでタスク適応を実現する。
• ベンチマーキングとプロービングは知識と推論能力を明らかにする一方で、信頼性と再現性に関する懸念を提起する。
• バイアス、誤情報、経済的独占、および失業などの潜在的な害があり、規制上の考慮を促している。