[論文レビュー] CTRL: A Conditional Transformer Language Model for Controllable Generation

Nitish Shirish Keskar, Bryan McCann+3 more|arXiv (Cornell University)|Sep 11, 2019

Topic Modeling参考文献 84被引用数 787

ひとこと要約

CTRL は、ドメイン、スタイル、タスク固有の生成を誘導する制御コードで条件付けられた 1.63B パラメータの Transformer 言語モデルを学習し、制御可能なテキスト合成とモデルベースの出典帰属を実現する。

ABSTRACT

Large-scale language models show promising text generation capabilities, but users cannot easily control particular aspects of the generated text. We release CTRL, a 1.63 billion-parameter conditional transformer language model, trained to condition on control codes that govern style, content, and task-specific behavior. Control codes were derived from structure that naturally co-occurs with raw text, preserving the advantages of unsupervised learning while providing more explicit control over text generation. These codes also allow CTRL to predict which parts of the training data are most likely given a sequence. This provides a potential method for analyzing large amounts of data via model-based source attribution. We have released multiple full-sized, pretrained versions of CTRL at https://github.com/salesforce/ctrl.

研究の動機と目的

• 制御コードを介して明示的に制御可能な言語モデルを提供する。
• 教師なし学習の利点を維持しつつ、ドメインおよびタスクを意識した生成を可能にする。
• 制御コードが自然データ構造（ドメイン、URL など）から導出できることを示す。
• CTRL が生成内容を学習データのサブセットに結び付けることによる出典帰属をどのように可能にするかを示す。
• QA（質問応答）および機械翻訳のためのタスク固有の制御コードを探究する。

提案手法

• 制御コード c を条件付けた大規模 Transformer 言語モデルを訓練し、クロスエントロピー損失を用いて p(x|c) を学習する。
• 各トレーニング系列の先頭にドメイン制御コードを付与して、そのドメインのテキスト全体に伝播させる。
• かなり大きな語彙（約 250K トークン）と、256 または 512 のシーケンス長をスライディングウィンドウ生成法で用いる。
• ドメイン、コンテンツ、タスク固有の制御コードを、ドメイン、URL、リンクなどのデータ構造から導出して組み込む。
• 生成時の真実性と反復のバランスを取るためのほぼ貪欲ペナルティ付きサンプリング法を提案する。
• 質問応答や翻訳などのタスクに対して複雑な制御コードをデモンストレーションし、ゼロショットのコード混合能力を示す。

実験結果

リサーチクエスチョン

• RQ1 明示的な制御コードは、一般的な言語モデリング能力を維持しつつ、ドメイン、スタイル、内容を跨いだ生成を誘導できるか？
• RQ2 自然データ構造から導出された制御コードは、過度なプロンプトなしで予測可能なドメイン固有の生成をどのように実現するか？
• RQ3 QA や翻訳などのタスク固有の生成に対する制御コードの影響は何か？
• RQ4 CTRL は制御コードを介して出力を訓練データのサブセットに結びつけ、出典帰属をサポートできるか？
• RQ5 スケール時に制御可能で一貫性のある生成を最も支援するサンプリングと訓練の選択肢は何か？

主な発見

• CTRL は、ドメイン、スタイル、トピック、日付、エンティティ、関係性を指定する制御コードを条件としてテキストを生成できる。
• 同一のプロンプトでも、ドメイン別の例やテンプレートを横断して、制御コードがドメイン固有の変化を可能にする。
• ペナルティ付きサンプリング法は、モデル分布への適合性を維持しつつ反復を削減し、事実性と一貫性を向上させる。
• Q&A および翻訳のための制御コードは、CTRL 内のタスク固有の能力へ直接アクセスを提供する。
• 訓練時に使用された URL などのデータ構造は、推論時にドメイン、サブドメイン、エンティティ、関係、日付を指定することを可能にする。
• CTRL はゼロショットのコード混合を可能にし、クロスドメインおよびクロスタスクの制御性を実証する。