[論文レビュー] GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization

Qianqian Xie, Jimin Huang+2 more|arXiv (Cornell University)|Aug 21, 2022

Topic Modeling被引用数 15

ひとこと要約

GRETEL は階層的トランスフォーマー符号化とグラフ対照的学習を統合したグラフ対照的トピック強化言語モデルを提案し、長文ドキュメントの抽出的要約を向上させる。グローバルなドキュメントコンテキストとゴールド要約の監視を活用することで、より一貫性がありトピックに関連した文の表現を捉え、一般およびバイオメディカルデータセットにおいて最先端の手法を上回る ROUGE スコアを達成する。

ABSTRACT

Recently, neural topic models (NTMs) have been incorporated into pre-trained language models (PLMs), to capture the global semantic information for text summarization. However, in these methods, there remain limitations in the way they capture and integrate the global semantic information. In this paper, we propose a novel model, the graph contrastive topic enhanced language model (GRETEL), that incorporates the graph contrastive topic model with the pre-trained language model, to fully leverage both the global and local contextual semantics for long document extractive summarization. To better capture and incorporate the global semantic information into PLMs, the graph contrastive topic model integrates the hierarchical transformer encoder and the graph contrastive learning to fuse the semantic information from the global document context and the gold summary. To this end, GRETEL encourages the model to efficiently extract salient sentences that are topically related to the gold summary, rather than redundant sentences that cover sub-optimal topics. Experimental results on both general domain and biomedical datasets demonstrate that our proposed method outperforms SOTA methods.

研究の動機と目的

• 長文ドキュメントにおける長距離依存関係とグローバルな意味論を捉えることのできない既存の事前学習言語モデル（PLMs）の限界を解消すること。
• ゴールド要約の監視を組み込むことで、自己教師付きトピック推論と真のグローバル意味論の間の意味的ギャップを埋めること。
• PLM からの局所的コンテキスト表現と、グローバルに一貫性のあるトピック表現を統合することで、抽出的要約を向上させること。
• 高頻度語に支配されるがトピック関連の内容ではない文をフィルタリングすることで、冗長性を低減すること。
• 切断なしで長文ドキュメントを効果的にモデル化できるように、階層的トランスフォーマー符号化を導入すること。

提案手法

• 長文ドキュメントの完全なコンテキスト表現を捉えるために、階層的トランスフォーマー符号化器（HTE）を採用し、長距離依存関係を保持する。
• ゴールド要約の意味論を基準に、文とドキュメントの埋め込みを対照することでトピック表現を学習するグラフ対照的トピックモデル（GCTM）を統合する。
• 文書と文の埋め込みがゴールド要約と高い意味的類似性を示すように、教師付き対照的学習を用いて近づける。
• GCTM からのグローバルなトピック表現と、PLM からの局所的コンテキスト表現を統合し、顕著な文の選択をガイドする。
• 抽出的要約性能を最適化するために、クロスアテンションと対照的損失の組み合わせを用いて、エンド・ツー・エンドでモデルを訓練する。
• ドキュメントレベルおよび文レベルのトピック表現を活用して、最終要約における意味的整合性とトピック関連性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 トピックモデリングにゴールド要約の監視を組み込むことで、抽出された文とドキュメントの真のグローバル意味論との整合性が向上するか？
• RQ2 PLMs と組み合わせた場合、グラフ対照的学習が長文要約の文脈でトピック表現の質をどのように向上させるか？
• RQ3 従来の BOW を用いたトピックモデルと比較して、階層的トランスフォーマー符号化は長距離依存関係のモデル化をどの程度改善するか？
• RQ4 対照的トピック学習の統合により、抽出的要約における冗長で高頻度語に支配される文の選択がどの程度減少するか？
• RQ5 GRETEL は、長文ドキュメント全体における選択された文の位置分布を考慮して、最先端手法と比較してどの程度優れているか？

主な発見

• GRETEL は、一般ドメインおよびバイオメディカルの長文要約データセットにおいて、最先端の性能を達成し、既存の最先端手法を上回る ROUGE スコアを記録した。
• 生成された要約における意味的類似性と整合性が高いため、ゴールド要約とよりトピック的に整合する文が選択されていることが裏付けられた。
• GRETEL が選択する文は、ドキュメントのすべての部分、特に後半のセクションにも広く分布しているため、早期の文に偏らないより優れた長文コンテキストモデリングが可能であることが示された。
• GRETEL が抽出する文の位置分布は、オラクル要約と最も類似しており、ドキュメント全体にわたり重要な情報を網羅していることが示された。
• 選択された文の上位トピックは、『治療』、『関節』、『感染』など、ゴールド要約と意味的に関連しているため、トピックに基づく顕著性検出が有効であることが確認された。
• PubMed-Long におけるケーススタディでは、BERTSum よりもより一貫性があり情報量の多い要約を生成しており、トピックの整合性が高く、冗長性が低減されていることが明らかになった。