[論文レビュー] Progressive Generation of Long Text with Pretrained Language Models

Bowen Tan, Zichao Yang+3 more|arXiv (Cornell University)|Jun 28, 2020

Topic Modeling参考文献 39被引用数 4

ひとこと要約

本稿では、TF-IDFを用いてキーワードを抽出し、その後に微調整されたBARTモデルを段階的に用いて改善することで、長文の整合性を向上させるプログレッシブなテキスト生成手法ProGenを提案する。この手法は、微調整されたGPT-2や計画→生成アプローチに比べて、整合性とサンプル効率の両面で顕著に優れており、人的評価で文単位の整合性が86%を超える結果を達成した。

ABSTRACT

Large-scale language models (LMs) pretrained on massive corpora of text, such as GPT-2, are powerful open-domain text generators. However, as our systematic examination reveals, it is still challenging for such models to generate coherent long passages of text (e.g., 1000 tokens), especially when the models are fine-tuned to the target domain on a small corpus. Previous planning-then-generation methods also fall short of producing such long text in various domains. To overcome the limitations, we propose a simple but effective method of generating text in a progressive manner, inspired by generating images from low to high resolution. Our method first produces domain-specific content keywords and then progressively refines them into complete passages in multiple stages. The simple design allows our approach to take advantage of pretrained LMs at each stage and effectively adapt to any target domain given only a small set of examples. We conduct a comprehensive empirical study with a broad set of evaluation metrics, and show that our approach significantly improves upon the fine-tuned large LMs and various planning-then-generation methods in terms of quality and sample efficiency. Human evaluation also validates that our model generations are more coherent.

研究の動機と目的

• 微調整された大規模言語モデルを用いて、1000トークン以上の長文を生成する際の整合性の課題に対処すること。
• 長文においてグローバルな整合性に欠ける、逐次的自己回帰的生成の限界を克服すること。
• 小規模なドメイン固有のデータセットでの有効な微調整を可能にする、サンプル効率の向上。
• 特別なアーキテクチャや外部の計画モデルに依存しない、柔軟でモジュール型のフレームワークの開発。
• 段階的改善を用いることで、長文生成の制御性と品質を向上させること。

提案手法

• 本手法は、TF-IDFに基づく指標を用いて特定された高情報量の語の列から出発し、複数段階にわたってテキストを段階的に生成する。
• 各段階では、前段階の出力をコンテキストのアンカーとして条件付けた微調整されたBARTモデルを用い、より詳細なバージョンを生成する。
• プログレッシブな改善プロセスにより、各段階がより単純なサブタスク（粗い計画から高分解能のテキストへのマッピング）に集中でき、トレーニングの安定性と整合性が向上する。
• 中間段階は、要約器やSRLモデルなどの外部ツールを必要とせず、ドメイン固有の小規模コーパスのみで訓練される。
• 各段階で左から右への自己回帰的生成を維持することで、標準的な事前学習済み言語モデルとの互換性が保たれる。
• 段階数は柔軟に調整可能であり、望ましい出力品質や計算コストに応じて変更可能である。

実験結果

リサーチクエスチョン

• RQ1 一括生成の微調整済み言語モデルと比較して、プログレッシブで段階的な生成アプローチが、長文生成における整合性を向上させられるか。
• RQ2 TF-IDFで選択されたキーワードを用いた段階的改善は、小規模ドメインコーパスでの微調整において、より高いサンプル効率をもたらすか。
• RQ3 中間段階の計画の品質が最終的なテキスト生成に与える影響は何か。また、ゴールドスタンダードの計画を最初の段階で使用することで、性能が著しく向上するか。
• RQ4 トレーニング中にデータノイズを導入することで、露出バイアスが軽減され、生成品質が向上するか。
• RQ5 標準的な自己回帰的言語モデルを用いて、非単調な生成戦略を効率的に実装できるか。

主な発見

• 人的評価において、ProGenは文単位の整合性が86%を超える結果を達成し、競合モデルと比較して最低10ポイント以上優れていた。
• わずか1,000件のトレーニング例での微調整でも、30,000件の例で微調整された大規模言語モデルと同等の性能を達成した。これは、サンプル効率の優位性を示している。
• 最初の段階でゴールドプランを用いることで、FBD-D（意味的品質）とTID（語彙的品質）の指標において、人間が生成したテキストとの差が縮まった。これは、高品質な中間段階の計画の重要性を示している。
• トレーニング中にデータノイズを導入することで、複数の指標で一貫して性能向上が見られた。これは、段階的露出バイアスの低減に有効であることを裏付けた。
• モデルのプログレッシブな設計により、微調整されたGPT-2や従来の計画→生成アプローチに比べ、より高い整合性が達成された。BERT-NSPスコアと人的評価の両方で確認された。
• ProGenの段階的フレームワークは、特別なアーキテクチャや外部ツールを必要とせず、さまざまなドメインや言語に柔軟に適応可能である。