[論文レビュー] A Semantic Relevance Based Neural Network for Text Summarization and Text Simplification

Shuming Ma, Xu Sun|arXiv (Cornell University)|Oct 6, 2017

Topic Modeling参考文献 27被引用数 19

ひとこと要約

本稿では、テキスト要約および簡略化の分野において、ソース文書と生成文書間の意味的関連性を向上させる、意味的関連性に基づく（SRB）ニューラルネットワークを提案する。トレーニング中にソース文書と生成出力間の意味的類似度を最大化する類似度損失を統合することで、長文表現を効果的に捉える自己ゲーティングアテンションエンコーダを用いることで、LCSTSおよびEW-SEWベンチマークにおいて最先端のシステムを上回る性能を発揮する。

ABSTRACT

Text summarization and text simplification are two major ways to simplify the text for poor readers, including children, non-native speakers, and the functionally illiterate. Text summarization is to produce a brief summary of the main ideas of the text, while text simplification aims to reduce the linguistic complexity of the text and retain the original meaning. Recently, most approaches for text summarization and text simplification are based on the sequence-to-sequence model, which achieves much success in many text generation tasks. However, although the generated simplified texts are similar to source texts literally, they have low semantic relevance. In this work, our goal is to improve semantic relevance between source texts and simplified texts for text summarization and text simplification. We introduce a Semantic Relevance Based neural model to encourage high semantic similarity between texts and summaries. In our model, the source text is represented by a gated attention encoder, while the summary representation is produced by a decoder. Besides, the similarity score between the representations is maximized during training. Our experiments show that the proposed model outperforms the state-of-the-art systems on two benchmark corpus.

研究の動機と目的

• 既存のシーケンス・ツー・シーケンスモデルではしばしば低いとされる、ソース文書と生成要約／簡略化文書間の意味的関連性を向上させること。
• 文法的に正しいが意味的に逸脱した出力を生成する現在のモデルの限界を是正すること。
• 意味的整合性を高めた統合フレームワークを、要約と簡略化の両タスクに適用すること。
• 自己ゲーティングアテンションエンコーダを用いて長文の表現を向上させ、冗長的または長大なソースコンテンツをよりよく捉えること。
• トレーニング中にソース文書と生成文書間の意味的類似度スコアを最大化するための専用の類似度評価コンponentを導入すること。

提案手法

• ゲーティング機構を用いて動的アテンション重みを学習することで、冗長的で長いソース文書をより効果的に表現するゲーティングアテンションエンコーダを用いる。
• エンコードされたソース表現から簡略化された要約または簡略化された文を生成するため、シーケンス・ツー・シーケンスデコーダを採用する。
• ソース文書表現と生成文書表現間の意味的類似度を計算する類似度評価コンponentを導入する。
• トレーニング中に意味的類似度スコアを最大化することで、モデルをエンド・ツー・エンドで最適化し、生成出力がソースの意味と密接に一致するよう促進する。
• 意味的理解を向上させるために、アテンションとシーケンス・ツー・シーケンスの構成から暗黙的に前提される事前学習済みコンテキスト表現を活用する。
• 共通のアーキテクチャコンponentsを用いて、抽出的要約と文レベルの簡略化タスクの両方にモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 意味的類似度に基づく学習目的は、要約および簡略化タスクにおけるソース文書と生成文書間の意味的関連性を向上させることができるか？
• RQ2 自己ゲーティングアテンションエンコーダは、ソース文書における長距離依存関係や冗長コンテンツを効果的に捉えることができるか？
• RQ3 共通の意味的関連性目的に基づいて要約と簡略化を同時に学習させることで、タスク固有のモデルよりも優れた性能が得られるか？
• RQ4 標準的なシーケンス・ツー・シーケンスモデルと比較して、提案手法はどの程度意味的逸脱を低減するか？
• RQ5 LCSTS、PWKP、EW-SEWといったベンチマークデータセットにおいて、意味的整合性と文の自然さの観点から、モデルの性能はどの程度か？

主な発見

• SRBモデルは、LCSTSおよびEW-SEWベンチマークデータセットにおいて最先端のシステムを上回り、意味的関連性の向上が確認された。
• 生成された要約や簡略化文書が、ソース文書からの意味的逸脱が小さく、より意味的に正確であることが実証された。
• 意味的類似度に基づく学習目的は、事実誤認や意味的に無関係な内容の生成を効果的に低減した。
• 自己ゲーティングアテンションエンコーダは、長く複雑なソース文書の表現を向上させ、性能向上に寄与した。
• ベースラインのシーケンス・ツー・シーケンスモデルと比較して、ソース文書と生成文書間の意味的類似度スコアが高くなった。
• 要約と簡略化の両タスクにおいて一貫した性能向上が得られ、テキスト生成タスク全体への広範な適用可能性が示された。