[論文レビュー] On Improving Informativity and Grammaticality for Multi-Sentence Compression

Elaheh ShafieiBavani, Mohammad Ebrahimi+2 more|arXiv (Cornell University)|May 7, 2016

Natural Language Processing Techniques参考文献 28被引用数 3

ひとこと要約

本稿では、多文要約のための新しい語グラフベースの手法を提案する。この手法は、マルチワード表現（MWE）の統合、類義語ベースの語マッピング、7-gram POSベースの言語モデル（POS-LM）を用いた再順序付けを統合することで、情報性と文法的整合性の両方を向上させる。この手法は、ニュース記事データセットで最先端の性能を達成し、自動評価と人的評価の両方のスコアを向上させつつも、高い要約率を維持している。

ABSTRACT

Multi Sentence Compression (MSC) is of great value to many real world applications, such as guided microblog summarization, opinion summarization and newswire summarization. Recently, word graph-based approaches have been proposed and become popular in MSC. Their key assumption is that redundancy among a set of related sentences provides a reliable way to generate informative and grammatical sentences. In this paper, we propose an effective approach to enhance the word graph-based MSC and tackle the issue that most of the state-of-the-art MSC approaches are confronted with: i.e., improving both informativity and grammaticality at the same time. Our approach consists of three main components: (1) a merging method based on Multiword Expressions (MWE); (2) a mapping strategy based on synonymy between words; (3) a re-ranking step to identify the best compression candidates generated using a POS-based language model (POS-LM). We demonstrate the effectiveness of this novel approach using a dataset made of clusters of English newswire sentences. The observed improvements on informativity and grammaticality of the generated compressions show that our approach is superior to state-of-the-art MSC methods.

研究の動機と目的

• 多文要約（MSC）における長年の課題である、情報性と文法的整合性の両方を同時に向上させること。
• 従来の語グラフベースのMSC手法で見られる、一方の品質を向上させると他方が劣化するというトレードオフを克服すること。
• MWE や類義語といった言語的構造を活用することで、要約文の品質を向上させること。
• 文法的に正しいかつスムーズな要約を優遇する、POSベースの言語モデルを用いた再順序付け戦略を開発すること。
• 標準的な英語ニュース記事データセットを用いて、自動評価と人的評価の両面から、提案手法の有効性を示すこと。

提案手法

• 語グラフ内のMWEに含まれる語を1つのノードに統合することで、曖昧性を低減し、意味的整合性を向上させること。
• MWEをその1語の類義語に置き換える（利用可能である場合）こと、および個々の語の類義語を用いてノードマッピングをガイドすること。
• 7-gram POSベースの言語モデル（POS-LM）を用いて、語グラフ内のk番目の最短経路を再順序付けし、文法的に整合性の高い要約を優遇すること。
• POSタグ付き文とストップワードを用いて語グラフを構築し、動的計画法を用いてk番目の最短経路（候補要約）を特定すること。
• MWE統合、類義語マッピング、POS-LM再順序付けのハイブリッド戦略を用いて、高品質な要約を生成すること。
• 人的アノテーションと自動指標（Rouge、Bleu）を用いて結果を検証し、WordNetを用いて手動でMWE検出と類義語アライメントを実施すること。

実験結果

リサーチクエスチョン

• RQ1 語グラフ内のマルチワード表現（MWE）を1つのノードに統合することで、要約文の情報性が向上するか？
• RQ2 語とMWE間の類義語統合が、多文要約の品質を向上させるか？
• RQ3 POSベースの言語モデル（POS-LM）は、情報性を損なうことなく、要約候補の再順序付けを効果的に行い、文法的整合性を向上させられるか？
• RQ4 MWE統合、類義語マッピング、POS-LM再順序付けといった個々の要素が、要約品質の向上にどの程度寄与しているか？
• RQ5 自動評価指標（RougeとBleu）は、人的評価における情報性と文法的整合性の判断とどの程度相関しているか？

主な発見

• 提案手法は、Rouge-1 F1スコア0.5841、Rouge-2 0.4284、Rouge-su4 0.3950、Bleu-4 0.6913を達成し、両方のベースライン手法を上回った。
• 人的評価では、多様なクラスタで文法的整合性（1.47）と情報性（1.36）に顕著な向上が見られ、要約率は48%を維持した。
• POS-LM再順序付けステップが文法的整合性向上に最も寄与しており、0.6913のBleu-4スコアが文法的スムーズネスと強く相関していることが示された。
• MWE統合と類義語マッピングは、特にRouge-1とRouge-2で高いスコアを示すなど、情報性の向上に顕著に寄与した。
• MWE、類義語、POS-LMの3要素を組み合わせた場合が、全体的な性能が最も良く、自動指標と人的評価の間で0.5～1.0の相関が確認された。
• 本研究では、Rougeは情報性と、Bleuは文法的整合性とより良い相関を示すことが確認され、両指標が補完的評価指標として有効であることが裏付けられた。