[論文レビュー] StructSum: Incorporating Latent and Explicit Sentence Dependencies for Single Document Summarization.

Vidhisha Balachandran, Artidoro Pagnoni+4 more|arXiv (Cornell University)|Mar 1, 2020

Topic Modeling参考文献 29被引用数 6

ひとこと要約

本稿では、構造に配慮したエンコーダーを用いて文の潜在的依存関係を統合するとともに、文間の明示的コアリソーショングラフを統合することで、要約の品質と解釈可能性を向上させるニューラル抽象要約モデルであるStructSumを提案する。CNN/DMデータセットにおいて、StructSumは長い文脈のコピーを低減させ、コンテンツの豊かさを向上させつつ、要約の抽象化度を高め、要約長は比較的維持する。

ABSTRACT

Traditional preneural approaches to single document summarization relied on modeling the intermediate structure of a document before generating the summary. In contrast, the current state of the art neural summarization models do not preserve any intermediate structure, resorting to encoding the document as a sequence of tokens. The goal of this work is two-fold: to improve the quality of generated summaries and to learn interpretable document representations for summarization. To this end, we propose incorporating latent and explicit sentence dependencies into single-document summarization models. We use structure-aware encoders to induce latent sentence relations, and inject explicit coreferring mention graph across sentences to incorporate explicit structure. On the CNN/DM dataset, our model outperforms standard baselines and provides intermediate latent structures for analysis. We present an extensive analysis of our summaries and show that modeling document structure reduces copying long sequences and incorporates richer content from the source document while maintaining comparable summary lengths and an increased degree of abstraction.

研究の動機と目的

• 文書レベルの構造を保持することで、ニューラル抽象要約の品質を向上させること。
• 文の関係性を反映した解釈可能な文書表現を学習すること。
• 元文書からの長いスパンのコピーに依存するのを減らすこと。
• 要約に、潜在的（暗黙的）および明示的（コアリソーションに基づく）な文の依存関係を統合すること。
• 要約長を維持しつつ、抽象化度とコンテンツの多様性を向上させること。

提案手法

• 文書内の文の階層的・関係的構造をモデル化することで、構造に配慮したエンコーダーを用いて潜在的な文の関係を誘導すること。
• エンティティやメンション間の文間コアリソーションリンクを表現する明示的なコアリソーション・メンション・グラフを構築すること。
• コアリソーション・グラフをエンコーダーに統合し、文の表現に明示的な句構造的および意味的依存関係を強化すること。
• エンコーディング段階で潜在的構造と明示的構造を統合し、より情報豊かな文脈表現を生成すること。
• 標準的なシーケンス・トゥ・シーケンスの目的関数を用いて、エンド・トゥ・エンドでモデルを訓練すること。
• デコーディング段階で、潜在的構造パターンと明示的コアリソーション・リンクの両方に注目するアテンション機構を採用すること。

実験結果

リサーチクエスチョン

• RQ1 潜在的文の依存関係をモデル化することで、ニューラル抽象要約の品質と解釈可能性が向上するか？
• RQ2 明示的なコアリソーション・グラフを統合することで、元文書のテキストコピーがどの程度低減されるか？
• RQ3 潜在的構造と明示的構造を統合することで、要約の抽象化度とコンテンツカバレッジにどのような影響を与えるか？
• RQ4 提案手法は、要約長を維持しつつコンテンツ豊かさと多様性を向上させることができるか？
• RQ5 誘導された潜在的構造は意味的に分析可能で、解釈可能であるか？

主な発見

• StructSumは、CNN/DMデータセットにおいて、標準的なニューラルベースラインを上回る要約品質を達成する。
• ベースラインモデルと比較して、元文書からの長いテキストスパンのコピーが削減される。
• 要約長は比較的維持しつつ、元文書からのより豊かなコンテンツを要約に統合する。
• 潜在的および明示的文の依存関係の統合により、生成された要約の抽象化度が向上する。
• 誘導された潜在的構造は解釈可能であり、文書レベルの依存関係に関する意味のある洞察を提供する。
• 広範な分析により、文書構造のモデル化がコンテンツの多様性と一貫性を向上させることを確認した。