[論文レビュー] Summarize, Outline, and Elaborate: Long-Text Generation via Hierarchical Supervision from Extractive Summaries

Xiaofei Sun, Zijun Sun+3 more|arXiv (Cornell University)|Oct 14, 2020

Topic Modeling参考文献 69被引用数 6

ひとこと要約

本稿では、まずセグメントを要約し、次にそれらをアウトライン化し、最後に各要約を詳細に展開するという階層的テキスト生成フレームワークSOEを提案する。抽出要約からの自己教師付き再構成を用いることで、高レベルの計画が可能になり、話法的依存関係が保持され、より長いコンテキストのモデリングが可能となる。その結果、自己回帰的ベースラインと比較して著しく高い品質の長文生成が達成され、収束速度も速くなる。

ABSTRACT

The difficulty of generating coherent long texts lies in the fact that existing models overwhelmingly focus on predicting local words, and cannot make high level plans on what to generate or capture the high-level discourse dependencies between chunks of texts. Inspired by human writing processes, where a list of bullet points or a catalog is first outlined, and then each bullet point is expanded to form the whole article, we propose {\it SOE}, a pipelined system that involves of summarizing, outlining and elaborating for long text generation: the model first outlines the summaries for different segments of long texts, and then elaborates on each bullet point to generate the corresponding segment. To avoid the labor-intensive process of summary soliciting, we propose the {\it reconstruction} strategy, which extracts segment summaries in an unsupervised manner by selecting its most informative part to reconstruct the segment. The proposed generation system comes with the following merits: (1) the summary provides high-level guidance for text generation and avoids the local minimum of individual word predictions; (2) the high-level discourse dependencies are captured in the conditional dependencies between summaries and are preserved during the summary expansion process and (3) additionally, we are able to consider significantly more contexts by representing contexts as concise summaries. Extensive experiments demonstrate that SOE produces long texts with significantly better quality, along with faster convergence speed.

研究の動機と目的

• 既存モデルが局所的・逐次的予測に依存しすぎているため、一貫性のある長文生成が困難であるという課題に対処すること。
• 粗いから細かい生成の限界、すなわちプロンプト容量の制限と話法的依存関係の不十分なモデリングを克服すること。
• コンテキストを要約として簡潔に表現することで、モデルが著しく長いコンテキストを扱えるようにすること。
• 人為的アノテーションが不要な意味のあるセグメント要約を抽出する自己教師付き手法を開発すること。
• 要約・アウトライン・詳細化のパイプライン化されたプロセスにより、長文生成の品質と収束速度を向上させること。

提案手法

• SOEは、セグメントの要約作成、要約の階層的アウトライン作成、各要約からの全文セグメントへの展開という3段階のパイプラインを採用する。
• 各セグメントの再構成に基づく戦略を用い、要約を抽出的に自己教師付きで抽出する。これは、各セグメントの情報量が多い部分を選択することで再構成を達成する。
• 要約生成を以前の要約に条件づけることで、条件付き確率を介して高レベルの話法的依存関係を捉える。
• テキスト生成は、直前のセグメントのトークンと現在のセグメントの要約の両方に条件づけられ、文脈に配慮した一貫性のある拡張が可能になる。
• 要約を用いることで、コンテキスト表現を生トークンから分離し、より長い有効なコンテキスト長を扱えるようにする。
• 推論時、要約へのアクセスを512トークンのコンテキスト窓内に制限することで、要約に基づく長コンテキストモデリングの影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 要約・アウトライン・詳細化を含む階層的生成戦略は、長文の一体性と品質を向上させることができるか？
• RQ2 自己教師付き抽出要約再構成は、教師ありまたはヒューリスティック手法と比較して、長文生成をどの程度効果的に支援するか？
• RQ3 要約同士の条件付き確率によって捉えられる高レベルの話法的依存関係は、どの程度テキストの一貫性を向上させるか？
• RQ4 要約を圧縮されたコンテキスト表現として用いることで、生トークン列よりも優れた長コンテキストモデリングが可能になるか？
• RQ5 SOEフレームワークは、自己回帰的およびプロンプトベースのベースラインと比較して、学習収束速度にどのような影響を与えるか？

主な発見

• BookCorpus上でのSOEのテキスト生成PPLは25.7であり、バニラ自己回帰モデル（PPL 29.0）およびWritingPromptsベースラインを著しく上回る。
• 再構成に基づく要約抽出手法が最良のパフォーマンスを示し、MJ-4スコア19.4を達成。TextRank（17.8）およびTF-IDF（17.3）を上回る。
• 一貫性に基づくテキストスライシングを用いることでパフォーマンスが向上し、等分割ではPPLが25.7から26.4に上昇する。これは意味的セグメンテーションの重要性を示している。
• 要約へのアクセスを1,156トークンの直前コンテキストに制限すると、PPLが25.7から26.5に上昇する。これは、要約が効果的な長コンテキストモデリングを可能にしていることを示している。
• 要約生成を、セグメントトークンではなく過去の要約にのみ依存するように単純化すると、PPLは30.4から31.2に上昇する。これは、セグメントに依存する要約生成が極めて重要であることを示している。
• SOEは、収束速度が著しく速く、最適なパフォーマンスに~200K学習ステップで到達する。一方、VanillaおよびWritingPromptsは~100万ステップを要する。