[論文レビュー] At Which Level Should We Extract? An Empirical Study on Extractive Document Summarization

Qingyu Zhou, Furu Wei+1 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 39被引用数 5

ひとこと要約

この論文は、抽出的ドキュメント要約における代替抽出単位としての文内単位を調査し、構文解析木を用いて意味的なフレーズを特定・抽出するニューラルモデルを提案する。実験の結果、自動評価および人的評価の両方において、文単位抽出と同等またはそれを上回る性能を示し、より正確で冗長性の低い要約手法を提供する。

ABSTRACT

Extractive methods have been proven effective in automatic document summarization. Previous works perform this task by identifying informative contents at sentence level. However, it is unclear whether performing extraction at sentence level is the best solution. In this work, we show that unnecessity and redundancy issues exist when extracting full sentences, and extracting sub-sentential units is a promising alternative. Specifically, we propose extracting sub-sentential units based on the constituency parsing tree. A neural extractive model which leverages the sub-sentential information and extracts them is presented. Extensive experiments and analyses show that extracting sub-sentential units performs competitively comparing to full sentence extraction under the evaluation of both automatic and human evaluations. Hopefully, our work could provide some inspiration of the basic extraction units in extractive summarization for future research.

研究の動機と目的

• 文単位抽出が抽出的ドキュメント要約において最適であるかどうかを調査すること。
• 完全な文単位抽出手法における冗長性および不要な内容を同定すること。
• 抽出的要約のより正確な代替手段としての文内単位を検討すること。
• 効果的に情報的な文内単位を抽出するニューラルモデルを開発すること。

提案手法

• 構文解析木を用いて、句構造的構成要素を候補となる文内単位として特定する。
• ニューラル抽出モデルを訓練し、最も情報的な文内単位をスコア付け・選択する。
• 文内単位はその文法的構造と意味的関連性に基づいて抽出される。
• モデルは文法的構造と文脈的埋め込みの両方を活用して、抽出の正確性を向上させる。
• 標準的な自動評価指標と人的評価を用いてアプローチを評価する。
• 同一の実験設定下で、文単位抽出ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 文単位抽出が抽出的要約において最も効果的な単位であるか？
• RQ2 文内単位は完全な文と比較して冗長性を低減し、要約品質を向上させるか？
• RQ3 ニューラルモデルは情報的な文内単位を効果的に抽出・順位付けできるか？
• RQ4 自動評価および人的評価において、文内単位抽出は文単位抽出と比較してどのように異なるか？

主な発見

• 文内単位抽出は、標準的な要約ベンチマークにおいて文単位抽出と同等の性能を達成する。
• 人的評価により、文内単位に基づく要約はより正確で冗長性が低いと認識されていることが確認された。
• 構文解析の使用により、モデルは意味的に整合性があり情報的なフレーズを特定できるようになった。
• ニューラルモデルは、フレーズレベルでのキーメタリアルの選択において、より高い頑健性と関連性を示した。
• 結果から、文内単位は完全な文と比較して代替可能であり、場合によっては優れた代替手段である可能性が示唆された。