[論文レビュー] Progressive Generation of Long Text.

Bowen Tan, Zichao Yang+3 more|arXiv (Cornell University)|Jun 28, 2020

Topic Modeling参考文献 44被引用数 24

ひとこと要約

本稿では、まずドメイン固有のキーワードを生成し、段階的にそれを洗練させることで一貫性のある長文を生成する、段階的で粗いものから細かいものへのテキスト生成手法を提案する。各段階で事前学習済み言語モデルを活用することで、微調整されたGPT-2と比較して、低リソースドメインにおける長文生成の品質とサンプル効率が顕著に向上する。

ABSTRACT

Large-scale language models pretrained on massive corpora of text, such as GPT-2, are powerful open-domain text generators. However, as our systematic examination reveals, it is still challenging for such models to generate coherent long passages of text ($>$1000 tokens), especially when the models are fine-tuned to the target domain on a small corpus. To overcome the limitation, we propose a simple but effective method of generating text in a progressive manner, inspired by generating images from low to high resolution. Our method first produces domain-specific content keywords and then progressively refines them into complete passages in multiple stages. The simple design allows our approach to take advantage of pretrained language models at each stage and effectively adapt to any target domain given only a small set of examples. We conduct a comprehensive empirical study with a broad set of evaluation metrics, and show that our approach significantly improves upon the fine-tuned GPT-2 in terms of domain-specific quality and sample efficiency. The coarse-to-fine nature of progressive generation also allows for a higher degree of control over the generated content.

研究の動機と目的

• 小規模でドメイン特化したデータセット上で微調整された大規模言語モデルを用いた、一貫性のある長文テキスト（1000トークン以上）生成の課題に対処すること。
• 微調整に使用可能な例が僅かにしか存在しない低リソース環境におけるサンプル効率の向上。
• 構造的で段階的な生成プロセスにより、生成コンテンツに対する制御を強化すること。
• 豊富な微調整を伴わずに、事前学習済み言語モデルを新しいドメインに効果的に適応可能にすること。

提案手法

• 本手法は、入力プロンプトまたはタスク記述からドメイン固有のキーワードを抽出することで、複数段階にわたってテキストを生成する。
• 最初の段階では、ターゲットドメインおよび望ましいコンテンツに関連する重要なキーワードの要約を言語モデルが生成する。
• その後の段階では、自己回帰的生成を用いて、これらのキーワードを段階的に拡張・精錬し、より長い一貫性のあるフレーズや文へと発展させる。
• 各段階では、前段階の出力をもとに、段階的に詳細が増したコンテンツを生成するように微調整された事前学習済み言語モデル（例：GPT-2）を用いる。
• このプロセスはモジュール式であり、各段階で少量のアノテート済み例のみを用いてドメイン固有の適応が可能である。
• 粗いものから細かいものへの設計により、内容を段階的に構築することで、長文生成におけるより良い制御と整合性が実現される。

実験結果

リサーチクエスチョン

• RQ1 段階的で順次的な生成アプローチは、大規模言語モデルを直接微調整する手法と比較して、長文生成における整合性と品質を向上させることができるか？
• RQ2 本手法は、ドメインごとに僅か数例のラベル付きデータしか入手できない低リソース環境でも効果を発揮するか？
• RQ3 粗いものから細かいものへの設計は、生成された長文における制御性と一貫性をどの程度向上させるか？
• RQ4 本手法は、長文（1000トークン以上）において事実的・意味的整合性を維持または向上させるか？

主な発見

• 段階的生成手法は、微調整されたGPT-2と比較して、高品質でドメイン特化した長文テキスト生成において顕著に優れている。
• 本手法は、はるかに少ない学習例で優れたパフォーマンスを達成しており、高いサンプル効率を示している。
• 粗いものから細かいものへの構造により、段階的精錬を可能にすることで、長文における整合性と一貫性が向上している。
• 各段階が直前の段階の出力をもとに段階的に詳細が増すため、コンテンツ構成に対するより高い制御が可能になっている。