[論文レビュー] Controlled Text Generation with Natural Language Instructions

Wangchunshu Zhou, Yuchen Eleanor Jiang+3 more|arXiv (Cornell University)|Apr 27, 2023

Topic Modeling被引用数 10

ひとこと要約

本論文は InstructCTG を提案する。生成制約を自然言語の指示として言語化し、事前学習済みモデルをファインチューニングする訓練時フレームワークであり、デコード変更を必要としない柔軟な、指示ベースの制御テキスト生成を可能にし、見慣れない制約に対して強い few-shot 汎化を実現する。

ABSTRACT

Large language models generate fluent texts and can follow natural language instructions to solve a wide range of tasks without task-specific training. Nevertheless, it is notoriously difficult to control their generation to satisfy the various constraints required by different applications. In this work, we present InstructCTG, a controlled text generation framework that incorporates different constraints by conditioning on natural language descriptions and demonstrations of the constraints. In particular, we first extract the underlying constraints of natural texts through a combination of off-the-shelf NLP tools and simple heuristics. We then verbalize the constraints into natural language instructions to form weakly supervised training data. By prepending natural language descriptions of the constraints and a few demonstrations, we fine-tune a pre-trained language model to incorporate various types of constraints. Compared to existing search-based or score-based methods, InstructCTG is more flexible to different constraint types and has a much smaller impact on the generation quality and speed because it does not modify the decoding procedure. Additionally, InstructCTG allows the model to adapt to new constraints without re-training through the use of few-shot task generalization and in-context learning abilities of instruction-tuned language models.

研究の動機と目的

• デコード時制約を超えた大規模言語モデルの出力を制御する必要性を動機づける。
• 制約を自然言語で言語化した訓練時の指示チューニング手法を提案する。
• 潜在的な制約で文を注釈付けし、それを指示として言語化することで弱教師あり訓練コーパスを合成する。
• 制約適合性と流暢さが高いこと、未知の制約や few-shot 状況への汎化を実証する。

提案手法

• 自然文に対して語彙・統語・意味・文体・長さの制約を自動的に補完して、大規模な弱教師あり訓練コーパスを合成する。
• 各制約を自然言語の指示として言語化し、それらを対象文と連結して訓練ペアを作成する。
• 拡張コーパスで事前訓練済みの指示チューニング済みモデル（T0-11B）をファインチューニングする。
• 文脈内学習を通じて複数の制約デモンストレーションを組み込み、見たことのない制約の few-shot 汎化を可能にする。
• 制約の言語化をタスクプロンプトと組み合わせることで、条件付きテキスト生成へ拡張する（例：パラフレーズや質問生成）。
• 言語化した制約を「and」で結合して制約の組み合わせを可能にする。
• 推論時にはデコーダを変更せず、標準的なデコード手順を維持する。

Figure 1 : A cartoon of the InstructCTG framework. InstructCTG is an instruction-tuned model for controlled text generation. In our experiments, we consider lexical , syntax , semantic , style , and length constraints.

実験結果

リサーチクエスチョン

• RQ1 デコード時制約と同等の効果で、自然言語の制約言語化が生成を誘導できるか？
• RQ2 弱教師あり制約データを用いた指示チューニングが、未知の制約（ゼロショット・few-shot）へどの程度転移するか？
• RQ3 本手法は条件付き生成タスクや複数制約の連結にも一般化するか？
• RQ4 デモンストレーションと複数のテンプレートが、見た制約および未知の制約に対する制約充足と流暢さに及ぼす影響は何か？

主な発見

• InstructCTG は語彙・統語・意味・文体・長さの制約全般で、ベースラインと比べて同等またはより高い制約充足を達成する。
• 本手法は、いくつかの制約ベースのデコード法よりも流暢性スコアが高く、生成も高速である。
• InstructCTG はデモンストレーションを用いた few-shot 環境で、未知の制約への汎化能力が強い。
• この手法は条件付き生成タスクへ効果的に拡張され、複数制約の組み合わせをサポートする。
• 数件のデモンストレーション（例: 5）が、性能と効率の間で有利なトレードオフを提供する。

Figure 2 : Results on the composition of multiple constraints. The aggregate performance number on the $y$ -axis is measured by the following procedure: First, for each constraint type, we calculate the percentage of succ and fluency that the model retains compared to the performance without constra