[論文レビュー] KATSum: Knowledge-aware Abstractive Text Summarization

Guan Wang, Weihua Li+2 more|arXiv (Cornell University)|Dec 6, 2022

Topic Modeling被引用数 4

ひとこと要約

KATSumは、事実的一致性と一貫性を向上させるために、知識グラフの三項対（頭部-関係-末尾）を活用する知識認識型の要約生成モデルを提案する。入力テキストを知識グラフにエンコードし、それを変換器デコーダーに供給する前に関連する三項対を分類することで、KATSumは事実誤認を低減し、ROUGEスコアをSOTA水準にまで向上させた。XLNetを用いたCNN/Daily Mailデータセット上では、ベースライン比で20%以上の向上を達成した。

ABSTRACT

Text Summarization is recognised as one of the NLP downstream tasks and it has been extensively investigated in recent years. It can assist people with perceiving the information rapidly from the Internet, including news articles, social posts, videos, etc. Most existing research works attempt to develop summarization models to produce a better output. However, advent limitations of most existing models emerge, including unfaithfulness and factual errors. In this paper, we propose a novel model, named as Knowledge-aware Abstractive Text Summarization, which leverages the advantages offered by Knowledge Graph to enhance the standard Seq2Seq model. On top of that, the Knowledge Graph triplets are extracted from the source text and utilised to provide keywords with relational information, producing coherent and factually errorless summaries. We conduct extensive experiments by using real-world data sets. The results reveal that the proposed framework can effectively utilise the information from Knowledge Graph and significantly reduce the factual errors in the summary.

研究の動機と目的

• 生成の自由度が高いために生じる忠実性の欠如や事実的一致性の欠如を是正すること。
• キーワード抽出を超えた、エンティティ間の関係的知識を統合することで要約の一貫性と事実的正確性を向上させること。
• 知識グラフを活用して要約生成をガイドするフレームワークの構築。
• 知識グラフの構築と三項対分類の要約品質への影響を評価すること。
• 知識認識型モデリングがROUGEスコアを向上させるとともに、要約生成における幻覚現象を低減することの実証。

提案手法

• エンティティと関係抽出を用いて入力テキストから知識グラフを構築し、{頭部, 関係, 末尾}形式の三項対を形成する。
• グラフニューラルネットワークを用いて知識グラフの三項対を低次元空間に埋め込み、表現学習を行う。
• 事前に学習された分類器を適用し、要約生成に必要な三項対のみをフィルタリング・選択する。
• 選択された三項対の埋め込みを変換器ベースのデコーダーに統合し、要約生成をガイドする。
• 入力テキストを処理し、文脈表現を生成するために事前学習済み言語モデル（BERTおよびXLNet）をエンコーダーとして使用する。
• スケジュール付きデコードとビームサーチを用いた推論において、クロスエントロピー損失を用いてエンドツーエンドのモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフの三項対は、知識認識型要約生成における事実的一致性を向上させることができるか？
• RQ2 エンティティ間の関係情報の統合は、要約品質およびROUGEスコアにどのように影響するか？
• RQ3 三項対のフィルタリングに分類ステップを導入することで、生の埋め込みを用いる場合と比較して要約性能が向上するか？
• RQ4 異なる事前学習エンコーダー（BERT対XLNet）は、KATSumにおける知識グラフコンponentsとどのように相互作用するか？
• RQ5 知識グラフコンponentsは、ベースラインの要約生成モデルと比較して、事実誤認をどの程度低減するか？

主な発見

• KATSumはエンコーダーにXLNetを使用した場合、CNN/Daily MailでROUGE-Lスコア40.2を達成し、ベースライン（31.5）比で相対的に27.6%の向上を示した。
• XLNetを用いたモデルは、BERTベースのベースラインを20%以上上回るROUGEスコアを達成し、長文の文脈を扱い、知識グラフ情報を統合する能力に優れていることが示された。
• 三項対のフィルタリングに分類ステップを削除した場合、ROUGE-Lは28.8から27.4に低下し、ノイズや関係の薄い三項対をフィルタリングすることで性能向上が達成されていることが示された。
• 知識グラフコンponentsを完全に削除した場合、性能は著しく低下し、ROUGE-Lは28.8から25.2に低下した。これにより、コンponentsが要約生成において不可欠な役割を果たしていることが証明された。
• XSumでは、KATSumにXLNetを用いた場合、ROUGE-Lスコア38.4を達成し、ベースラインを10.0ポイント以上上回った。これは、異なるデータセットに対しても汎用性があることを確認した。
• アブレーションスタディにより、知識グラフの構築とその分類ステップの両方が、事実誤認の低減および要約品質の向上に不可欠であることが確認された。