[論文レビュー] Guided Neural Language Generation for Abstractive Summarization using Abstract Meaning Representation

Hardy, Andreas Vlachos|arXiv (Cornell University)|Aug 28, 2018

Topic Modeling参考文献 14被引用数 14

ひとこと要約

この論文は、元のドキュメントの情報を用いて自然な表現と事実の整合性を向上させることで、AMRに基づく要約の質を向上させる、ガイド付きニューラル言語生成アプローチを提案する。seq2seqデコードを確率的言語モデルでガイドすることで、市販のAMR解析を用い、ROUGE-2スコアを10.5ポイント向上させ、強力なベースラインseq2seqモデルを2ポイント上回る。

ABSTRACT

Recent work on abstractive summarization has made progress with neural encoder-decoder architectures. However, such models are often challenged due to their lack of explicit semantic modeling of the source document and its summary. In this paper, we extend previous work on abstractive summarization using Abstract Meaning Representation (AMR) with a neural language generation stage which we guide using the source document. We demonstrate that this guidance improves summarization results by 7.4 and 10.5 points in ROUGE-2 using gold standard AMR parses and parses obtained from an off-the-shelf parser respectively. We also find that the summarization performance using the latter is 2 ROUGE-2 points higher than that of a well-established neural encoder-decoder approach trained on a larger dataset. Code is available at \url{https://github.com/sheffieldnlp/AMR2Text-summ}

研究の動機と目的

• 神経的要約生成モデルにおける明示的な意味的モデリングの欠如、特に時制、数、文法的特徴の処理における課題を解決すること。
• AMR表現に欠落している元ドキュメントの補助情報を組み込むことで、AMRグラフからの言語生成を改善すること。
• 訓練データの統計的パターンに依存して言語的特徴を推論することによる、文法的誤りや不自然な表現の低減。
• ガイドされていないAMRからテキストへの生成モデルや標準的なseq2seqベースラインと比較して、より高いROUGEスコアと自然な表現の要約を達成すること。
• 自動解析されたAMR入力でさえ、元ドキュメントの文脈によってガイドされれば、ゴールドスタンダードAMRパースを上回ることを示すこと。

提案手法

• 本手法は二段階のプロセスを用いる：まず、確率的言語モデルを用いて元ドキュメントから補助情報（時制、数など）の確率分布を推定する。
• 第二に、生成出力と一致する元ドキュメントのn-gramに報酬を与えることで、Luongら（2015）の注目メカニズムを用いたseq2seqモデルのデコードをガイドする。
• スコア計算機構は、元ドキュメントのn-gramと候補トークンとの類似度を計算し、デコーダーの注目と出力確率をそれに応じて調整する。
• AMRグラフはVan NoordとBos（2017）の前処理を用いて線形化され、seq2seqモデルはゴールドおよび自動解析されたAMR要約で学習される。
• 本手法はAMRデータセットのProxy Reportセクション（LDC2017T10）で評価され、ROUGEと人間による自然さ評価が用いられる。
• 直接元テキストから要約する強力なベースラインとして、事前学習済みOpenNMT-pyモデルが用いられる。

実験結果

リサーチクエスチョン

• RQ1 元ドキュメント情報でAMRからテキストへの生成をガイドすることで、要約の自然さと事実の整合性が向上するか？
• RQ2 元ドキュメントから得られる補助情報を用いることで、言語的特徴の推論にデータ駆動のパターンに依存するのを減らせるか？
• RQ3 単純な確率的言語モデルでseq2seqデコードをガイドすることで、ガイドされていないAMRからテキストへの生成を上回れるか？
• RQ4 なぜ自動解析されたAMR入力が、ゴールドスタンダードAMRパースよりも良い要約結果をもたらすことがあるのか？
• RQ5 ガイドされた手法は、強力なニューラルseq2seqベースラインと比較して、どの程度ROUGEスコアを向上させるか？

主な発見

• ゴールドスタンダードAMRパースを用いた場合、ガイド付きモデルはROUGE-2スコアを7.4ポイント向上させ、RIGAで解析されたAMR入力では10.5ポイント向上させた。
• RIGAパースを用いたガイド付きモデルはROUGE-2スコア21.2を達成し、強力なOpenNMT-py seq2seqベースライン（21.0）を2ポイント上回った。
• ガイド付きモデルは自然さスコアを6段階スケールで2.16から2.66に向上させ、文法的正しさと自然さの向上を示した。
• 改善にもかかわらず、手動評価では依然として文法的誤りや重複の繰り返しが見られ、生成要約に課題が残っている。
• 驚くべきことに、RIGAで解析されたAMR入力は、ガイドされた設定においてゴールドスタンダードパースを上回った。これは、手動AMRラベル付けにおけるアノテーションの不整合が原因である可能性がある。
• モデルは、'a softening'を'airstrikes'に置き換えるなど、正確な元レベル用語を取得・統合することで、重大な誤りを是正した。