[論文レビュー] Outline to Story: Fine-grained Controllable Story Generation from Cascaded Events

Le Fang, Tao Zeng+4 more|arXiv (Cornell University)|Jan 4, 2021

Topic Modeling参考文献 32被引用数 5

ひとこと要約

本論文は、段階的な出来事のシーケンスを細分化された制御信号として用い、複数段落からなる物語を生成する『アウトラインから物語』（O2S）タスクを紹介する。著者らは、特別トークンを用いて出来事と段落を区別するシンプルな微調整手法FISTを提案し、アーキテクチャの変更なしに最先端の条件付き生成性能を達成した。これにより、長文生成における強力な制御性と柔軟性が実現された。

ABSTRACT

Large-scale pretrained language models have shown thrilling generation capabilities, especially when they generate consistent long text in thousands of words with ease. However, users of these models can only control the prefix of sentences or certain global aspects of generated text. It is challenging to simultaneously achieve fine-grained controllability and preserve the state-of-the-art unconditional text generation capability. In this paper, we first propose a new task named "Outline to Story" (O2S) as a test bed for fine-grained controllable generation of long text, which generates a multi-paragraph story from cascaded events, i.e. a sequence of outline events that guide subsequent paragraph generation. We then create dedicate datasets for future benchmarks, built by state-of-the-art keyword extraction techniques. Finally, we propose an extremely simple yet strong baseline method for the O2S task, which fine tunes pre-trained language models on augmented sequences of outline-story pairs with simple language modeling objective. Our method does not introduce any new parameters or perform any architecture modification, except several special tokens as delimiters to build augmented sequences. Extensive experiments on various datasets demonstrate state-of-the-art conditional story generation performance with our model, achieving better fine-grained controllability and user flexibility. Our paper is among the first ones by our knowledge to propose a model and to create datasets for the task of "outline to story". Our work also instantiates research interest of fine-grained controllable generation of open-domain long text, where controlling inputs are represented by short text.

研究の動機と目的

• ユーザーがグローバルなプロンプトやプレフィックスではなく、段落レベルでのコンテンツ制御が求められる、細分化された制御性のある長文生成の課題に対処すること。
• 段階的な出来事から制御可能な複数段落の物語生成が可能な、新たなベンチマークタスク『アウトラインから物語』（O2S）を構築すること。
• 事前学習モデルの強力な無条件生成能力を保ちつつ、細分化された制御が可能な、シンプルで効果的なベースライン手法を開発すること。
• キーワード抽出技術を自動的に適用して、出来事と段落をペairedする高品質で大規模なデータセットを生成すること。

提案手法

• 物語が出来事のシーケンスから生成される『アウトラインから物語』（O2S）という新規タスクを提案し、各出来事が1つの段落を制御する。
• 最先端のキーワード抽出技術を用いて段落からキーフレーズを抽出し、出来事と物語のペアを形成することでデータセットを構築する。
• 特別トークン（startofcond, sepofcond, endofcond）を用いて、出来事と段落を交互に配置する、FIST（Special Tokensを用いた微調整）と呼ばれるシンプルな手法を設計する。
• 標準的な言語モデリング目的関数を用いて、これらの拡張済みシーケンス上で事前学習済み言語モデルを微調整し、モデルが出来事から段落への条件付けを学習できるようにする。
• 推論時に特別トークンを制御信号として使用し、部分的または完全なアウトラインに基づいた物語生成を可能にする。
• ユーザーが出来事のサブセットのみを提供できるようにすることで、動的かつ適応的な物語生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 特別トークンを用いたシンプルな微調整アプローチが、アーキテクチャの変更なしに、細分化された制御性のある長文生成で優れた性能を達成できるか？
• RQ2 FIST手法は、事前学習モデルの無条件生成品質を保ちながら、段落レベルでの制御を実現できるか？
• RQ3 不完全なまたは部分的なアウトラインに対しても、モデルはどの程度一般化できるか。ユーザーの柔軟な制御をサポートできるか？
• RQ4 段落から自動抽出された出来事アウトラインは、高価な人工作業によるアウトラインと比較して、実用的でスケーラブルな代替手段として有効であるか？

主な発見

• FIST手法はO2Sタスクで最先端の性能を達成し、自動評価および人的評価の両方の指標で、既存手法を上回った。
• モデルは細分化された制御性を示し、アウトライン内の各出来事の意味的コンテンツと密接に一致する物語を生成した。
• 不完全なアウトラインでさえも、一貫性と関連性を維持し、ユーザーの柔軟性と適応性の高さを示した。
• 特別トークンの使用により、新たなパラメータを追加せず、モデルアーキテクチャを変更せずに効果的な条件付けが可能になった。
• キーワード抽出技術を用いて自動構築されたデータセットは、高品質な学習データを提供し、効果的な微調整と頑健な一般化を可能にした。
• モデルは最大数千語に及ぶ長く一貫性のある物語を生成でき、全体にわたりトピックの関連性を維持した。