[論文レビュー] Extractive Summarization as Text Matching

Ming Zhong, Pengfei Liu+4 more|arXiv (Cornell University)|Apr 19, 2020

Topic Modeling参考文献 47被引用数 16

ひとこと要約

この論文では、ソースドキュメントと候補要約の間の意味的類似度を共有埋め込み空間内でテキストマッチングとして定式化することで、要約抽出のための新規フレームワークMatchSumを提案する。Siamese-BERTアーキテクチャを用いて意味的類似度を計算することで、ドキュメントに最も類似した要約を最も関連性の高いものとして選択し、BERT-baseのみを用いてCNN/DailyMailでROUGE-1スコア44.41というSOTAを達成した。これは6つのデータセットで強力なベースラインを上回った。

ABSTRACT

This paper creates a paradigm shift with regard to the way we build neural extractive summarization systems. Instead of following the commonly used framework of extracting sentences individually and modeling the relationship between sentences, we formulate the extractive summarization task as a semantic text matching problem, in which a source document and candidate summaries will be (extracted from the original text) matched in a semantic space. Notably, this paradigm shift to semantic matching framework is well-grounded in our comprehensive analysis of the inherent gap between sentence-level and summary-level extractors based on the property of the dataset. Besides, even instantiating the framework with a simple form of a matching model, we have driven the state-of-the-art extractive result on CNN/DailyMail to a new level (44.41 in ROUGE-1). Experiments on the other five datasets also show the effectiveness of the matching framework. We believe the power of this matching-based summarization framework has not been fully exploited. To encourage more instantiations in the future, we have released our codes, processed dataset, as well as generated summaries in https://github.com/maszhongming/MatchSum.

研究の動機と目的

• 文単位の抽出器が独立して意思決定を行い、重複する要約を生成するという限界を解決すること。
• 文単位の手法と比較して、要約全体の意味的整合性をモデル化することで、要約単位のアプローチが優れているかどうかを調査すること。
• 要約長や「パール要約」（個々に目立たないがスコアの高い文から構成される要約）の有無といったデータセットの特性に基づいて、文単位と要約単位の抽出器の間に存在する本質的ギャップを定量化すること。
• 対照的学習による複雑な要約レベル最適化を回避する新しい要約抽出のパラダイムを提案すること。
• 個々の文のスコア付けでは特定できない、相乗的な文の組み合わせを意味的マッチングが効果的に捉えられることを示すこと。

提案手法

• 要約抽出を、ソースドキュメントと最も類似する候補要約を意味的空間内で特定するという意味的テキストマッチング問題として定式化すること。
• ソースドキュメントと候補要約を両方とも文脈的埋め込みに変換するため、Siamese-BERTアーキテクチャを用いること。
• ドキュメント埋め込みと各候補要約埋め込みの間のコサイン類似度を計算し、要約をランク付けすること。
• 対照的学習を適用：優れた要約は、不適切な要約よりもドキュメントに対して意味的に類似しているべきである。
• 類似度スコアが最も高い候補要約を最終的な抽出要約として選択すること。
• ドキュメントとそのゴールド要約の意味的整合性を最適化するため、対照的損失を用いてモデルをエンドツーエンドで学習すること。

実験結果

リサーチクエスチョン

• RQ1 要約単位のマッチングフレームワークは、従来の文単位の抽出器を上回る性能を示すか？
• RQ2 さまざまなベンチマークデータセットにおいて、文単位と要約単位の抽出器の間には、どのような本質的ギャップが存在するか？
• RQ3 「パール要約」（個別に目立たないがスコアの高い文から構成される要約）の有無が、モデルの性能にどのように影響するか？
• RQ4 BERT-baseを用いた単純なマッチングモデルが、複雑なデコードや強化学習を用いずに、どれほどSOTAの結果を達成できるか？
• RQ5 要約長や高得点文の分布が、マッチングベースのフレームワークの有効性にどのように影響するか？

主な発見

• MatchSumは、BERT-baseのみを用いてCNN/DailyMailデータセットでROUGE-1スコア44.41というSOTAを達成し、以前の強力なベースラインを上回った。
• MatchSumの性能向上は、「パール要約」を含むサンプルで最も顕著であり、個々に平均的な文が複数集まって高整合性の要約を形成する場合に顕著に現れた。
• XSumでは、MatchSumが学習比ψ(𝒟) = 0.64を達成し、高い性能向上の可能性を示したが、より長い要約（例：PubMedやMulti-News）では、要約レベル最適化の上限が高いためψ(𝒟)は0.2未満に低下した。
• モデルの改善は「パール要約」の有無と強く相関しており、ゴールド要約が個別に高得点の文から構成される場合には、効果が低いことがわかった。
• フレームワークの有効性は、データセットの特性と定量的に関連しており、より多くの「パール要約」と短い要約長を有するデータセットで、より高い向上が観察された。
• 分析により、文単位と要約単位の抽出器の間に測定可能な本質的ギャップが存在することが確認され、要約単位のアプローチの必要性が裏付けられた。