[論文レビュー] Systematically Exploring Redundancy Reduction in Summarizing Long Documents

Wen Xiao, Giuseppe Carenini|arXiv (Cornell University)|Nov 30, 2020

Topic Modeling参考文献 23被引用数 15

ひとこと要約

本稿では、長文ドキュメントのニューラル抽出要約における冗長性を低減する体系的アプローチを提案し、スコアリングおよび選択段階で文の重要性と非冗長性を明示的にバランスさせる3つの新しい手法を導入している。PubmedおよびarXivデータセット上で評価された結果、従来のベースラインと比較して著しく冗長性を低減しながら、最先端のROUGEスコアを達成した。

ABSTRACT

Our analysis of large summarization datasets indicates that redundancy is a very serious problem when summarizing long documents. Yet, redundancy reduction has not been thoroughly investigated in neural summarization. In this work, we systematically explore and compare different ways to deal with redundancy when summarizing long documents. Specifically, we organize the existing methods into categories based on when and how the redundancy is considered. Then, in the context of these categories, we propose three additional methods balancing non-redundancy and importance in a general and flexible way. In a series of experiments, we show that our proposed methods achieve the state-of-the-art with respect to ROUGE scores on two scientific paper datasets, Pubmed and arXiv, while reducing redundancy significantly.

研究の動機と目的

• 長文要約（特に科学論文）における冗長性の程度とその影響を調査すること。
• 抽出要約における既存のニューラル冗長性低減技術を体系的に分類・比較すること。
• スコアリング段階および選択段階の両方で文の重要性と非冗長性を明示的にバランスさせる、3つの新しい汎用的で柔軟な手法を提案すること。
• これらの手法の有効性を長文ドキュメントを対象として評価し、ROUGEスコアと冗長性メトリクスを用いること。
• 長文ドキュメントにおいて、選択段階での冗長性低減がスコアリング段階よりも効果的であることを示すこと。

提案手法

• 公平な比較を保証するため、著者らは共通のベースラインモデル（Xiao and Carenini, 2019）内に既存の冗長性低減手法を再実装した。
• 3つの新しい手法を提案した：(1) 冗長性に配慮したスコアリング用に変更されたデコーダー、(2) 冗長な文の選択をペナルティ化するカスタム損失関数、(3) 文の類似度に基づく動的しきい値を用いた文選択アルゴリズム。
• これらの手法は汎用的で柔軟であり、さまざまなニューラル抽出要約フレームワークへの統合が可能である。
• 冗長性は、一意なn-gram比および文埋め込みベクトル間のコサイン類似度を用いて測定された。
• モデルは2つの長文ドキュメントデータセット（PubmedおよびarXiv）上で訓練および評価され、評価指標としてROUGEスコアと冗長性メトリクスが用いられた。
• 手法の妥当性と一般化能力を評価するため、文書長さや冗長性レベルの変動する条件下でも評価が行われた。

Figure 1: The average unique n-gram ratio in the documents across different datasets. To reduce the effect of length difference, stopwords were removed.

実験結果

リサーチクエスチョン

• RQ1 長文ドキュメント（例：科学論文）と短文ドキュメント（例：ニュース記事）との間で、冗長性はどのように異なるか？
• RQ2 スコアリング段階と選択段階のどちらに冗長性低減戦略を適用するかが、長文要約においてより良い性能をもたらすか？
• RQ3 明示的で柔軟かつ汎用的な冗長性低減手法は、ニューラル抽出要約においてROUGEスコアと冗長性低減の両面で改善をもたらすか？
• RQ4 さまざまな文書長さや冗長性レベルにおいて、異なる冗長性低減手法の性能はどのように異なるか？
• RQ5 冗長性低減手法の有効性は、要約の長さや元のドキュメントの固有の冗長性に依存するか？

主な発見

• 提案手法は、PubmedおよびarXivの両データセットで、従来のニューラルおよび非ニューラルベースラインを上回る最先端のROUGEスコアを達成した。
• 長文の科学的論文では、短いニュース記事と比較して冗長性が著しく高いことが判明し、長文要約における専用の冗長性低減の必要性が裏付けられた。
• MMR-Select+は、特に高冗長性ドキュメントにおいて、情報量（ROUGE）と冗長性低減の両面で最も良好なバランスを達成した。
• 文の選択段階での冗長性低減が、スコアリング段階よりも効果的であることが、選択段階手法の優れた性能から示された。
• Trigram Blocking手法は、最も冗長性を低減したが、情報量の損失も最も大きかったため、高冗長性の長文ドキュメントにはあまり適さない。
• 提案手法は、さまざまな要約長制限においても安定した性能を維持したため、出力長の変動に対しても頑健で一般化可能であることが示された。

Figure 2: The pipeline of the MMR-Select+ method, where $\hat{S},\hat{Y}$ and $\bar{S},\bar{Y}$ are the summary and labels generated by the MMR-Select algorithm and the normal greedy algorithm, respectively. $S$ and $Y$ are the ground truth summary and the oracle labels.