[論文レビュー] Outline Generation: Understanding the Inherent Content Structure of Documents

Ruqing Zhang, Jiafeng Guo+3 more|arXiv (Cornell University)|May 24, 2019

Topic Modeling参考文献 35被引用数 5

ひとこと要約

本稿では、ドキュメントの固有のコンテンツ構造を特定し、一貫性があり整合性のある見出しを生成することで、ドキュメントの内在的構造を明らかにする新しい構造化要約タスクであるアウトライン生成（OG）を紹介する。著者らは、マルコフ的段落および見出し依存関係、セクションに特化したアテンション、およびレビュー機構を用いて、段落レベル、セクション見出しレベル、見出し同士のレベルの3段階の整合性を捉える階層的ニューラルモデルHiStGenを提案し、175万件のドキュメント-アウトラインペアを含む新しいベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

In this paper, we introduce and tackle the Outline Generation (OG) task, which aims to unveil the inherent content structure of a multi-paragraph document by identifying its potential sections and generating the corresponding section headings. Without loss of generality, the OG task can be viewed as a novel structured summarization task. To generate a sound outline, an ideal OG model should be able to capture three levels of coherence, namely the coherence between context paragraphs, that between a section and its heading, and that between context headings. The first one is the foundation for section identification, while the latter two are critical for consistent heading generation. In this work, we formulate the OG task as a hierarchical structured prediction problem, i.e., to first predict a sequence of section boundaries and then a sequence of section headings accordingly. We propose a novel hierarchical structured neural generation model, named HiStGen, for the task. Our model attempts to capture the three-level coherence via the following ways. First, we introduce a Markov paragraph dependency mechanism between context paragraphs for section identification. Second, we employ a section-aware attention mechanism to ensure the semantic coherence between a section and its heading. Finally, we leverage a Markov heading dependency mechanism and a review mechanism between context headings to improve the consistency and eliminate duplication between section headings. Besides, we build a novel WIKIOG dataset, a public collection which consists of over 1.75 million document-outline pairs for research on the OG task. Experimental results on our benchmark dataset demonstrate that our model can significantly outperform several state-of-the-art sequential generation models for the OG task.

研究の動機と目的

• ドキュメントの細分化された理解の課題に取り組むために、セクションの特定と見出し生成を通じてドキュメントの内在的コンテンツ構造を明らかにすること。
• アウトライン生成を階層的構造予測問題として定式化し、一貫性のあるセグメンテーションと、スタイルが整合した見出しの生成を要件とする。
• 段落レベル（セクション境界）、セクション-見出し（意味的整合性）、見出し同士（一貫性および重複回避）の3段階の整合性を捉えるモデルの開発。
• 学習および評価のための新しいベンチマークデータセット、WIKI OG（175万件を超えるドキュメント-アウトラインペアを含む）を構築すること。

提案手法

• OGを2段階の階層的構造予測として定式化：まずマルコフ的段落依存関係を用いてセクション境界を予測し、次にセクションに特化したアテンションを用いて見出しを生成する。
• 隣接する見出し間の順序的依存関係をモデル化するためのマルコフ的見出し依存関係機構を導入し、一貫性の向上を図る。
• 生成された見出しを以前に生成されたものと比較するレビュー機構を実装し、重複の検出と防止を可能にする。
• 各セクションのコンテンツと対応する見出しを一致させるために、セクションに特化したアテンションを実装し、意味的関連性を保証する。
• 境界予測には交差エントロピー損失、見出し生成には系列生成損失を用いて、エンドツーエンドのモデルを訓練する。
• 学習および評価に、WIKI OGデータセット（Wikipedia記事とそのアウトラインがペairedされた大規模かつ公開可能なコレクション）を活用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、複数段落からなるドキュメントにおいて、自然なセクション境界を効果的に特定できるか？
• RQ2 コンテンツと整合的で、隣接する見出しとスタイルが一貫した見出しを生成するにはどうすればよいか？
• RQ3 生成された見出しの系列における一貫性を高め、重複を低減するためのメカニズムは何か？
• RQ4 段落、見出し、見出し同士の整合性を階層的にモデリングすることで、アウトライン生成のパフォーマンスはどの程度向上するか？

主な発見

• HiStGenは、HierおよびGHDといった強力なベースラインを大きく上回り、セクション境界予測および見出し生成の両面で優れた性能を示した。境界検出のF1スコアで最大3.5%の向上を達成した。
• マルコフ的見出し依存関係機構（Hier MHD）は、独立またはグローバル依存モデルに比べ、見出し生成を向上させた。これは、局所的依存関係がグローバル依存関係よりも効果的であることを示している。
• レビュー機構（Hier MHD+RE）を導入することで、見出し品質がさらに向上し、繰り返しを低減し一貫性を向上させた。音楽ドメインではRouge-1スコアが0.47ポイント向上した。
• 事例研究により、HiStGenは正しくセクション境界を特定し、繰り返しや一貫性のない見出しを回避していることが確認された。一方、ベースラインモデル（IG_CRF+Hier）は過剰にセグメンテーションを行い、重複する見出しを生成していた。
• Wikipedia記事や研究論文を含む多様なドキュメントタイプにおいて、モデルは一貫した改善を示し、強固な汎用性を示した。
• すべてのベースラインに対する性能向上は統計的に有意（p < 0.01）であり、提案された整合性モデリングコンponentsの有効性が裏付けられた。