[論文レビュー] Text Summarization using Abstract Meaning Representation

Shibhansh Dohare, Harish Karnick+1 more|arXiv (Cornell University)|Jun 6, 2017

Topic Modeling参考文献 16被引用数 44

ひとこと要約

本稿では、要約のための抽象的意味表現（AMR）を用いた、包括的で新規のパイプラインを提案する。入力の物語はまずAMRグラフに変換され、その後、要約に関連する複数のサブグラフが、重要な文から抽出される。その後、自然な要約文が生成される。この手法は、単一サブグラフ抽出手法を上回り、ROUGEなどの既存の評価指標の重大な欠陥を露呈することで、AMRベースの要約分野で最先端の結果を達成した。

ABSTRACT

With an ever increasing size of text present on the Internet, automatic summary generation remains an important problem for natural language understanding. In this work we explore a novel full-fledged pipeline for text summarization with an intermediate step of Abstract Meaning Representation (AMR). The pipeline proposed by us first generates an AMR graph of an input story, through which it extracts a summary graph and finally, generate summary sentences from this summary graph. Our proposed method achieves state-of-the-art results compared to the other text summarization routines based on AMR. We also point out some significant problems in the existing evaluation methods, which make them unsuitable for evaluating summary quality.

研究の動機と目的

• 抽象的意味表現（AMR）を用いた、完全でエンドツーエンドの抽象的要約のためのパイプラインを開発すること。
• 重要な文から複数の的を絞った要約グラフを抽出することで、単一サブグラフ抽出の限界を克服する手法を提案すること。
• 抽象的要約の質を評価するための既存の評価指標（例：ROUGE）の妥当性に疑問を呈すること。
• CNN-DailyMailのような現在のデータセットが、真の抽象的要約を支援する点でどのような欠陥を抱えているかを明らかにすること。
• 今後のAMRベースの抽象的要約研究のための強固なベースラインを確立すること。

提案手法

• パイプラインは、JAMRなどのAMRパーサーを用いて、入力物語をAMRグラフに変換することで始まる。
• 要約に最も関連する情報が含まれる、少数の重要な文を物語から特定する。
• 選択された各文から、全体のAMRグラフからサブグラフを抽出し、要約に関連するAMRサブグラフを形成する。
• 複数のこのようなサブグラフを組み合わせることで、物語の多様な情報を捉えた複合要約グラフを構築する。
• ニューラルAMRからテキストへの変換器を用いて、最終的な要約グラフを自然で流れの良い要約文に変換する。
• 単一のサブグラフに依存しないことで、物語全体に散らばる情報をよりよくカバーできる。

実験結果

リサーチクエスチョン

• RQ1 複数ステップのAMRベースのパイプラインは、単一サブグラフ抽出と比較して、抽象的要約のパフォーマンスを向上させることができるか？
• RQ2 CNN-DailyMailデータセットにおいて、AMRベースの要約は、Lead-3 や SummaRunNer といった抽出的ベースラインと比べてどの程度優れているか？
• RQ3 ROUGE などの標準的評価指標は、AMRを介して生成された抽象的要約の質をどの程度正確に反映しているか？
• RQ4 なぜCNN-DailyMailデータセットは、真の抽象的要約システムの評価に問題を抱えているのか？
• RQ5 類似した文をクラスタリングし、それらの結合AMR表現から要約グラフを抽出することで、要約品質が向上するか？

主な発見

• 提案手法は、AMRベースのテキスト要約において最先端の結果を達成し、先行する単一サブグラフ抽出手法を上回った。
• Lead-3（非匿名化）からLead-3-AMRへのパフォーマンス低下は顕著であり、主にAMRパーサーと生成の誤りに起因する。
• ROUGEは、AMRを介した抽象的要約の評価に不適切であることが判明した。これは、意味の再構築や意味の保持を評価できないためである。
• CNN-DailyMailデータセットは、要約の大部分が最初の数文に集中しており、抽出的であるため、抽象的要約能力の評価が制限されている。
• 単一の文ではなく複数の文から要約グラフを抽出することで、より良い情報カバレッジと要約品質が達成されることを示した。
• 今後の抽象的要約モデルの公平な評価を可能にするために、より均等に分布した重要な情報と、より本物の抽象的要約を含む新しいデータセットの必要性を提起した。