[論文レビュー] Multi-XScience: A Large-scale Dataset for Extreme Multi-document Summarization of Scientific Articles

Yao Lu, Yue Dong+1 more|arXiv (Cornell University)|Oct 27, 2020

Topic Modeling被引用数 13

ひとこと要約

本稿では、科学的論文から抽出された極めて多数の文書要約のための大型データセットであるMulti-XScienceを紹介する。このタスクは、論文の要約とその引用文献を用いて関連研究セクションを生成することを目的としている。このデータセットは、生成的手法（抽象的要約）を重視するように設計されており、実証的結果から、モデルが抽出的コピーではなく高レベルの抽象的要約を生成するよう効果的に挑戦していることが示されている。人的評価においても、抽出的ベースラインを上回る結果が得られている。

ABSTRACT

Multi-document summarization is a challenging task for which there exists little large-scale datasets. We propose Multi-XScience, a large-scale multi-document summarization dataset created from scientific articles. Multi-XScience introduces a challenging multi-document summarization task: writing the related-work section of a paper based on its abstract and the articles it references. Our work is inspired by extreme summarization, a dataset construction protocol that favours abstractive modeling approaches. Descriptive statistics and empirical results---using several state-of-the-art models trained on the Multi-XScience dataset---reveal that Multi-XScience is well suited for abstractive models.

研究の動機と目的

• 多文書要約（MDS）の分野において、特に抽象的モデリングを想定した大規模で高品質なデータセットの不足に対処すること。
• 論文の要約とその引用文献を用いて、現実の科学的執筆を反映する関連研究セクションを生成すること。
• 従来のMDSデータセットで一般的に見られる位置的および抽出的バイアスを低減し、モデルがより高い挑戦に直面するようにすること。
• 高い抽象的要約要件を有する科学的テキストにおいて、最先端の抽象的要約モデルのトレーニングと評価を可能にすること。
• グラフベースや教師なし学習の拡張を含む、将来的な科学文書理解分野の研究を支援すること。

提案手法

• 130万件のarXiv論文と、ヒューリスティックベースのレコードマッチングと5回の反復的クリーニングプロセス（人的検証を伴う）を用いて、Microsoft Academic Graph（MAG）と照合した。
• 各サンプルは、クエリ論文の要約とその引用文献の要約から構成され、ターゲットはクエリ論文の段落単位の関連研究セクションである。
• モデルが複数のソース文書から一貫性のある抽象的要約を合成できるように、多文書要約タスクとして設計されている。
• 構築プロトコルは、高品質なアライメントと意味的整合性を重視しており、抽出的および位置的バイアスを最小限に抑え、真の抽象的要約を促進する。
• 評価は人的アノテーションを用い、2名のジャッジがモデル出力の品質とライティングスタイルを1〜3のスケールでランク付けした。
• ベースラインモデルには抽出的オラクル（ソースからコピー）、HiMAP、Pointer-Generatorが含まれ、データセットの抽象的要約の挑戦性を検証するために使用された。

実験結果

リサーチクエスチョン

• RQ1 抽出的および位置的バイアスを最小限に抑えた大規模な科学的多文書要約データセットを、抽象的モデリングを促進するように構築できるか？
• RQ2 抽出的ベースラインと比較して、Multi-XScienceは現在の抽象的要約モデルをどの程度効果的に挑戦するか？
• RQ3 最先端の抽象的モデル（例：HiMAP、Pointer-Generator）は、実際の科学的文献のライティングスタイルと内容をどの程度正確に再現できるか？
• RQ4 このデータセットは、科学的テキスト要約におけるより強固な抽象的モデルの開発を支援できるか？
• RQ5 引用ネットワークやドメイン内コーパス構造を用いることで、将来的なデータセット拡張にどのような意味を持つのか？

主な発見

• Multi-XScienceデータセットには、MAGからのアライメント済み引用を有する130万件のarXiv論文が含まれ、大規模で高品質なMDSベンチマークを形成している。
• 人的評価の結果、抽象的モデル（HiMAP、Pointer-Generator）の平均スコアは2.28および2.18であり、抽出的オラクル（1.54）を上回っており、ライティングスタイルと一貫性の面で優れていることが示された。
• 抽出的オラクルは正しい内容を捉えているものの、実際の関連研究セクションのライティングスタイルに一致しないことが判明し、このデータセットが抽象的要約を強く要請していることを示している。
• 実証的結果から、Multi-XScienceが抽象的モデルに適しており、導出文のコピーや抽出的ヒューリスティクスへの依存を低減していることが確認された。
• 表4の分析により、従来のMDSデータセットと比較して、位置的および抽出的バイアスが少ないことが確認された。
• このデータセットは、将来的にグラフベース要約や、引用ネットワークを用いたドメイン内事前学習（教師なし）の拡張をサポートできる。