[論文レビュー] Toward Abstractive Summarization Using Semantic Representations

Fei Liu, Jeffrey Flanigan+3 more|arXiv (Cornell University)|May 25, 2018

Topic Modeling参考文献 41被引用数 56

ひとこと要約

本論文は、複数の入力文のAMRグラフを、概念の統合、文の接続、およびオプションのグラフ拡張を通じて、1つの要約的で凝縮された要約AMRグラフに変換することで要約を生成する、画期的な抽象的要約フレームワークを提案する。JAMRパーサーを用いたテストデータにおいて、ROUGE-1 F1スコア57.8%を達成しており、意味的表現を用いたグラフベースの抽象的要約の実現可能性が示された。

ABSTRACT

We present a novel abstractive summarization framework that draws on the recent development of a treebank for the Abstract Meaning Representation (AMR). In this framework, the source text is parsed to a set of AMR graphs, the graphs are transformed into a summary graph, and then text is generated from the summary graph. We focus on the graph-to-graph transformation that reduces the source semantic graph into a summary graph, making use of an existing AMR parser and assuming the eventual availability of an AMR-to-text generator. The framework is data-driven, trainable, and not specifically designed for a particular domain. Experiments on gold-standard AMR annotations and system parses show promising results. Code is available at: https://github.com/summarization

研究の動機と目的

• 意味的表現（例：AMR）を活用して、抽出的でない新しい要約を生成する要約フレームワークの開発。
• 抽出的メソッドが不十分となる長文または複雑なテキストに対して、高品質な抽象的要約を生成する課題への対処。
• 要約のコアメカニズムとして、AMR表現のグラフからグラフへの変換を用いることの実現可能性の探求。
• AMRパーサーやテキスト生成とは独立して、グラフ要約のコンponent（段階2）を分離して評価すること。
• AMRパーサーエラーとグラフ拡張が要約性能に与える影響の評価。

提案手法

• 訓練および評価にゴールドスタンダードのAMRアノテーションを用いて、JAMRパーサーを用いて入力文をAMRグラフに変換する。
• コアフレンテーションのノードを複数の文間で統合し、すべての文のルートノードをダミーの「ROOT」ノードに接続することで、統合されたソースグラフを構築する。
• 文単位で完全に密なグラフを生成するためのオプションのグラフ拡張を適用し、より豊富な意味的接続性を向上させる。
• ハッチング、パーセプトロン、またはラム損失関数を用いて、構造予測モデルを訓練し、ソースグラフから顕著なノードおよびエッジを選択して要約グラフを形成する。
• JAMRによってアラインされた語群スパンを用いて要約グラフから要約テキストを生成し、ボックスオブワーズベースでROUGE-1を評価する。
• パフォーマンスの上限を確立するために、基準要約のゴールドスタンダードAMRパーサーに基づくオラクル要約を用いる。

実験結果

リサーチクエスチョン

• RQ1 AMR表現のグラフからグラフへの変換が、複数の文の意味を1つの要約グラフに効果的に要約できるか。
• RQ2 ゴールドスタンダードAMRパーサーとシステム生成のJAMRパーサーを用いた場合、グラフ要約器のパフォーマンスにどのような差が生じるか。
• RQ3 グラフ拡張が、サブグラフ予測および最終的な要約生成の質に与える影響は何か。
• RQ4 ハッチング、パーセプトロン、ラム損失関数といった異なる損失関数が、構造予測モデルのパフォーマンスに与える影響は何か。
• RQ5 JAMRにおけるパーサーエラーが、全体の要約パフォーマンスをどの程度制限しているか。

主な発見

• JAMRパーサーを用いたテストセットにおいて、本フレームワークはROUGE-1 F1スコア57.8%を達成しており、意味的グラフを用いた抽象的要約の強力な可能性を示している。
• ゴールドスタンダードAMRパーサーに基づくオラクル要約はROUGE-1 F1スコア65.8%を達成しており、より良いAMRパーサーによる改善の余地があることを示唆している。
• グラフ拡張はオラクルパフォーマンスをわずかに向上（ラム損失を用いて71.2% F1に）させるが、システムパフォーマンスをわずかに低下させることがあり、モデルの複雑さとトレードオフの関係にあることが示された。
• ラム損失の使用は、ハッチングおよびパーセプトロン損失を常に上回り、特にエッジ予測においてその有効性が顕著に現れており、このタスクにおける構造予測の有効性を示している。
• AMRパーサーエラーは、特にエッジ予測においてパフォーマンスの劣化の主な要因であり、概念予測にはやや小さい影響しか与えない。
• パーサーエラーが存在するにもかかわらず、本システムはグラフ拡張を用いた場合、概念予測でROUGE-1 F1 51.2%、エッジ予測で19.0%を達成しており、ノイズに強く、頑健であることが示された。