[論文レビュー] Text Generation: A Systematic Literature Review of Tasks, Evaluation, and Challenges

J. K. Becker, Jan Philip Wahle+2 more|arXiv (Cornell University)|May 24, 2024

Advanced Text Analysis Techniques被引用数 5

ひとこと要約

本論文はテキスト生成に関する244件の研究（2017–2024）を調査し、タスクを分類し、指標を評価し、共通する9つの課題を整理し、将来の研究への推奨を提示する。

ABSTRACT

Text generation has become more accessible than ever, and the increasing interest in these systems, especially those using large language models, has spurred an increasing number of related publications. We provide a systematic literature review comprising 244 selected papers between 2017 and 2024. This review categorizes works in text generation into five main tasks: open-ended text generation, summarization, translation, paraphrasing, and question answering. For each task, we review their relevant characteristics, sub-tasks, and specific challenges (e.g., missing datasets for multi-document summarization, coherence in story generation, and complex reasoning for question answering). Additionally, we assess current approaches for evaluating text generation systems and ascertain problems with current metrics. Our investigation shows nine prominent challenges common to all tasks and sub-tasks in recent text generation publications: bias, reasoning, hallucinations, misuse, privacy, interpretability, transparency, datasets, and computing. We provide a detailed analysis of these challenges, their potential solutions, and which gaps still require further engagement from the community. This systematic literature review targets two main audiences: early career researchers in natural language processing looking for an overview of the field and promising research directions, as well as experienced researchers seeking a detailed view of tasks, evaluation methodologies, open challenges, and recent mitigation strategies.

研究の動機と目的

• 2017–2024年の最近のテキスト生成研究の包括的な概要を提供する。
• テキスト生成の主要タスクとサブタスクを特定し、分類する。
• 評価手法とその限界を評価する。
• 広く普及している課題を明らかにし、潜在的な緩和方向を提案する。
• NLPおよびNLGの若手研究者と経験豊富な研究者への指導を提供する。

提案手法

• Kitchenham and Chartersのガイドラインに従った体系的文献調査を実施する。
• 時系列および引用ベースの基準による自動フィルタリングを1669件の公開論文に適用し、その後、手動で関連性を評価する。
• 関連論文ごとにタスク、サブタスク、データセット、指標、課題で注釈付けと分類を行う。
• 引用、専門家の意見、Google Scholar検索によって特定された補助論文でデータセットを拡張する。
• 方法論とデータセットのメタデータを公開アクセス可能なリポジトリで公開共有する。

Figure 1. Taxonomy of the main tasks in text generation and their respective challenges.

実験結果

リサーチクエスチョン

• RQ1 テキスト生成のタスクとは何か、主要なサブタスクは何か？
• RQ2 テキスト生成システムはどのように評価され、現在の指標の限界は何か？
• RQ3 テキスト生成のオープンな課題は何か？
• RQ4 テキスト生成において顕著な研究方向性は何か？

主な発見

• 5つの主要タスクを特定: open-ended text generation, summarization, translation, paraphrasing, and question answering.
• Nine cross-cutting challenges common across tasks: bias, reasoning, hallucinations, misuse, privacy, interpretability, transparency, datasets, and computing.
• Current evaluation metrics face limitations and gaps across model-free and model-based approaches.
• Open-domain open-ended generation faces reproducibility and openness issues due to closed-source models.
• Dialogue, multi-document, and long-context summarization present distinct coherence and faithfulness challenges.
• Translation struggles with low-resource languages and train/test data mismatch, with back-translation as a mitigation.

Figure 2. Pipeline of this systematic review. Red-colored boxes show papers we excluded; Green-colored boxes show papers we added.