[論文レビュー] Combination of abstractive and extractive approaches for summarization of long scientific texts

Vladislav Tretyak, Denis Stepanov|arXiv (Cornell University)|Jun 9, 2020

Topic Modeling参考文献 11被引用数 4

ひとこと要約

本稿では、長大な科学的テキストの高品質な要約を生成するために、抽出的および抽象的アプローチを統合したハイブリッド要約手法を提案する。まず、事前学習済みのBERTモデルを用いて重要な文を抽出し、次にその抽出要約、序論、結論を条件付け情報として用いて、抽象的生成に特化したBARTモデルを条件づける。この手法により、arXivデータセット上でSOTAのROUGEスコア（ROUGE-1: 45.3、ROUGE-2: 25.1、ROUGE-L: 36.2）を達成した。

ABSTRACT

In this research work, we present a method to generate summaries of long scientific documents that uses the advantages of both extractive and abstractive approaches. Before producing a summary in an abstractive manner, we perform the extractive step, which then is used for conditioning the abstractor module. We used pre-trained transformer-based language models, for both extractor and abstractor. Our experiments showed that using extractive and abstractive models jointly significantly improves summarization results and ROUGE scores.

研究の動機と目的

• 抽出的および抽象的アプローチを統合することで、長大な科学的文書の要約品質を向上させること。
• 抽出的要約、序論、結論などの異なる条件付け入力を、抽象的要約生成性能に与える影響を調査すること。
• 事前学習済みのトランスフォーマーモデルが、長大な科学的テキスト要約において、従来の手法を上回ることを評価すること。
• ROUGEスコアの向上に寄与する抽出的および抽象的コンポーネントの最適な組み合わせを特定すること。
• 抽出的要約および主要なセクション（序論／結論）が、抽象的生成に最も関連性の高い情報を含んでいるという仮説を検証すること。

提案手法

• BERT、RoBERTa、またはELECTRAを用いた抽出的要約モデルを、重要文を特定する文書分類タスクとして訓練する。
• 抽出された要約を論文の序論および結論と連結し、抽象的モデルの条件付け入力として用いる。
• BARTベースの抽象的モデルを、抽出要約＋序論＋結論の組み合わせ入力で条件づけ、自然言語要約を生成する。
• 抽出要約のみ、序論のみ、または序論と結論のみで条件づけるなどの、代替的な条件付け構成をテストする。
• GPT-2を用いて抽出要約で条件づけた抽象的生成を実施するが、入力長の制限により完全な条件づけが制限される。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで微調整され、arXivデータセット上でROUGE指標を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 抽出的および抽象的モデルを統合することで、長大な科学的テキストの要約品質が向上するか？
• RQ2 抽出要約、序論、結論、またはその組み合わせといった、どの条件付け入力が抽象的要約生成性能を最も高めるか？
• RQ3 このハイブリッド設定において、事前学習済みモデル（BERT、BART）を用いるのと、訓練から始めることの性能差は何か？
• RQ4 抽出的生成に条件づけを施すことで、ROUGEスコアがオラクル抽出ベースラインを超えることができるか？
• RQ5 抽出要約を言い換えて条件づけ情報として用いることで、性能が低下する（真値との整合性喪失による）か？

主な発見

• 抽出要約にBERT、抽象的生成にBARTを用い、抽出要約＋序論＋結論を条件づけた最良のモデルが、ROUGE-1: 45.3、ROUGE-2: 25.1、ROUGE-L: 36.2を達成した。
• 条件づけ入力から抽出要約を削除した場合、ROUGEスコアが著しく低下し、抽出要約が抽象的生成をガイドする上で極めて重要な役割を果たしていることが確認された。
• 抽出要約に加え、序論および結論を条件づけた構成が、他のすべての構成（序論のみ、結論のみなど）を上回る性能を示した。
• 抽出要約＋序論＋結論を条件づけたモデルのROUGE-Lスコア（36.2）は、オラクル抽出ベースライン（36.0）を上回っており、抽象的生成が抽出手法単体よりもより簡潔かつ関連性の高い要約を生成できることを示している。
• 抽出要約を言い換えて条件づけ情報として用いた場合、性能が著しく低下した（ROUGE-1: 17.9、ROUGE-2: 3.5）、これは真値との整合性喪失に起因すると考えられる。
• 抽出要約＋序論＋結論を条件づけたBARTモデルは、arXivデータセットにおいて、すべてのROUGE指標で、従来のSOTA手法を上回った。