[論文レビュー] GSum: A General Framework for Guided Neural Abstractive Summarization

Zi-Yi Dou, Pengfei Liu+3 more|arXiv (Cornell University)|Oct 15, 2020

Topic Modeling参考文献 40被引用数 15

ひとこと要約

この論文では、事前学習言語モデルに基づく統合的エンコーダーデコーダー・アーキテクチャに、強調文、キーワード、関係的三項組（主語-述語-目的語）、および取得された要約といった複数の外部ガイダンスを統合する一般性と拡張性に優れたフレームワーク、GSumを提案する。このフレームワークは、4つのベンチマークデータセットで最先端のROUGEスコアを達成し、特にCNN/DMデータセットで先行研究比1.28/0.79/1.13のROUGE-1/2/Lの向上を達成する一方で、ユーザー指定のガイダンスにより忠実性と制御性を向上させる。

ABSTRACT

Neural abstractive summarization models are flexible and can produce coherent summaries, but they are sometimes unfaithful and can be difficult to control. While previous studies attempt to provide different types of guidance to control the output and increase faithfulness, it is not clear how these strategies compare and contrast to each other. In this paper, we propose a general and extensible guided summarization framework (GSum) that can effectively take different kinds of external guidance as input, and we perform experiments across several different varieties. Experiments demonstrate that this model is effective, achieving state-of-the-art performance according to ROUGE on 4 popular summarization datasets when using highlighted sentences as guidance. In addition, we show that our guided model can generate more faithful summaries and demonstrate how different types of guidance generate qualitatively different summaries, lending a degree of controllability to the learned models.

研究の動機と目的

• ニューラル要約生成モデルにおける制御性と忠実性の欠如に対処すること。
• 強調文、キーワード、関係性、取得された要約といった多様なガイダンス信号を、1つの拡張可能なフレームワークに統合すること。
• 異なるガイダンスタイプが要約品質および忠実性の向上に与える効果と相乗効果を評価すること。
• ユーザー指定のガイダンスが制御可能で高品質な要約生成を可能にすることを示すこと。
• オラクル・ガイドド学習がモデルのガイダンス信号との整合性を向上させるかどうかを調査すること。

提案手法

• 事前学習エンコーダー（例：BERT, BART）を用いたシーケンス・ツー・シーケンスモデルであり、入力ドキュメントに加えて複数のガイダンス信号にも注目する。
• ガイダンス信号は別々に符号化され、デコーディングの前に入力ドキュメント表現と連結される。
• 訓練段階でオラクルを用いて各例に対して最も情報量の多いガイダンス信号を選択し、ガイダンスと参照要約との強い整合性を保証する。
• 推論段階では、自動抽出またはユーザー指定のガイダンス信号に条件づけてモデルを動作させることで、制御性を実現する。
• 本モデルは4種類のガイダンスタイプをサポートする：強調文、キーワード、顕著な関係的三項組（主語-述語-目的語）、および取得された要約。
• ROUGEと人的評価による事実の正確性を用いてモデル性能を評価し、オラクル学習の必要性を検証するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 強調文、キーワード、関係性、取得された要約といった異なる種類のガイダンス信号は、要約生成品質の向上においてどのように比較されるか？
• RQ2 複数のガイダンス信号を効果的に組み合わせることで、単一信号モデルよりも要約性能を向上させられるか？
• RQ3 訓練段階でガイダンスを選択するオラクルを使用することで、モデル性能と忠実性が顕著に向上するか？
• RQ4 ユーザー指定のガイダンスが生成要約の内容とスタイルをどの程度制御できるか？
• RQ5 要約生成モデルの忠実性と新規性は、従来のアーキテクチャと比較してどの程度優れているか？

主な発見

• 強調文ガイダンスを用いたGSumモデルは、6つのベンチマークのうち4つで最先端のROUGEスコアを達成し、特にCNN/DMデータセットで先行SOTA比1.28/0.79/1.13のROUGE-1/2/L向上を達成した。
• 複数のガイダンス信号（強調文、キーワード、関係性、取得要約）の出力を統合することでさらなる向上が得られ、48.30/45.15のROUGE-1/Lを達成し、単一ガイダンスモデルを上回った。
• ペアワイズなガイダンス信号の統合は相乗効果を示し、各信号が最終要約に独自の強みを寄与した。
• 人的評価により、ベースラインと比較してガイド付きモデルが顕著に忠実性の高い要約（p < 0.001）を生成することが確認され、事実の正確性スコアも高かった。
• モデルは忠実性と新規性の両方を満たす要約を生成でき、提供されたガイダンス信号（例：入力文の繰り返しや言い換え）に密接に一致する出力を得られた。
• オラクルではなく自動抽出されたガイダンスを訓練に用いる場合、性能が著しく低下し、効果的なガイダンス学習にはオラクルの監視が必要であることが確認された。