[論文レビュー] Pretrained Language Models for Text Generation: A Survey

Junyi Li, Tianyi Tang+3 more|arXiv (Cornell University)|Jan 14, 2022

Topic Modeling被引用数 66

ひとこと要約

事前学習済み言語モデル（PLMs）がテキスト生成にどのように適用されるかを包括的に概説し、入力エンコーディング、モデル設計、最適化、課題、リソース、将来の方向性を詳述する。

ABSTRACT

Text Generation aims to produce plausible and readable text in a human language from input data. The resurgence of deep learning has greatly advanced this field, in particular, with the help of neural generation models based on pre-trained language models (PLMs). Text generation based on PLMs is viewed as a promising approach in both academia and industry. In this paper, we provide a survey on the utilization of PLMs in text generation. We begin with introducing three key aspects of applying PLMs to text generation: 1) how to encode the input into representations preserving input semantics which can be fused into PLMs; 2) how to design an effective PLM to serve as the generation model; and 3) how to effectively optimize PLMs given the reference text and to ensure that the generated texts satisfy special text properties. Then, we show the major challenges arisen in these aspects, as well as possible solutions for them. We also include a summary of various useful resources and typical text generation applications based on PLMs. Finally, we highlight the future research directions which will further improve these PLMs for text generation. This comprehensive survey is intended to help researchers interested in text generation problems to learn the core concepts, the main techniques and the latest developments in this area based on PLMs.

研究の動機と目的

• PLMベースのテキスト生成のタスク定式化と、入力データ・モデル設計・最適化の役割を導入する。
• 非構造化データ・構造化データ・マルチメディアデータに対する入力表現戦略を調査する。
• PLM アーキテクチャ（マスクド LM、causal LM、prefix LM、encoder-decoder LM）と生成タスクの設計調整をレビューする。
• 最適化技術と、生成テキストの忠実性・関連性・整合性といった特性をどのように確保するかを論じる。
• PLMベースのテキスト生成における課題・リソース・応用・将来の方向性を強調する。

提案手法

• PLMs を用いて、テキスト生成を入力-出力写像 f_M(x, P) として定式化する。
• 入力データを非構造化・構造化・マルチメディアに分類し、エンコーディング手法を検討する。
• 事前学習目的に基づいて PLMs を分類する：masked LM、causal LM、prefix LM、encoder-decoder LM、そしてアーキテクチャ拡張を論じる。
• 微調整、マルチタスク学習、プロンプト/アダプタベースのアプローチを含む最適化戦略をレビューする。
• クロスリンガルおよび多言語生成の表現と、生成過程で構造化データ情報を保持する方法を論じる。
• PLMベースのテキスト生成に関するリソース・応用・将来の研究方向性を要約する。

実験結果

リサーチクエスチョン

• RQ1 PLMベースの生成において、どの入力表現とエンコーディング戦略が入力の意味を最もよく保持するか？
• RQ2 PLMs を、タスク全体で効果的な生成機能として設計・適応するにはどうすべきか？
• RQ3 どの最適化技術が流暢で忠実かつタスク適合性の高いテキストを安定して生成するか？
• RQ4 主要な課題（例：忠実性、効率性、多言語性）は何で、どのように緩和できるか？
• RQ5 実践における PLMベースのテキスト生成を示すリソース、データセット、応用例は何か？

主な発見

• 大規模コーパスで事前学習された PLMs は、タスクを横断して流暢で文脈を意識したテキスト生成を可能にする。
• 階層的およびグラフベースの表現は、段落や文書の長距離・文跨りの意味を捉えるのに役立つ。
• 構造化データは、線形化・表現整合・専用のエンコーディングモジュールを通じて意味的ギャップを埋める必要がある。
• 入力構造への忠実性と忠実度は、特定目的の目的関数・コピー機構・入力情報を用いたプロンプトによって向上させることができる。
• 多言語・クロスリンガル PLMs は、共有表現と言語特有の適応を組み合わせて複数言語で生成を可能にする。
• 広範なリソースと応用分野が存在し、微調整のバリアントやプロンプトベース手法など、進化する最適化戦略とともにある。