[論文レビュー] Data-driven Summarization of Scientific Articles

Nikola I. Nikolov, Michael Pfeiffer+1 more|arXiv (Cornell University)|Apr 24, 2018

Topic Modeling参考文献 30被引用数 31

ひとこと要約

本稿では、タイトルと要旨をマルチセンテンス要約として用いることで、データ駆動型テキスト要約のための大規模かつ高品質なベンチマークとして科学論文を活用することを提案する。2つの新規データセット—title-abstract（500万件の論文）およびabstract-body（90万件の論文）—を導入し、抽出的および生成的ニューラルモデルの評価を実施。科学論文は、多様なアーキテクチャにわたる強力な性能を示す長文要約モデルの訓練に極めて適していることが示された。

ABSTRACT

Data-driven approaches to sequence-to-sequence modelling have been successfully applied to short text summarization of news articles. Such models are typically trained on input-summary pairs consisting of only a single or a few sentences, partially due to limited availability of multi-sentence training data. Here, we propose to use scientific articles as a new milestone for text summarization: large-scale training data come almost for free with two types of high-quality summaries at different levels - the title and the abstract. We generate two novel multi-sentence summarization datasets from scientific articles and test the suitability of a wide range of existing extractive and abstractive neural network-based summarization approaches. Our analysis demonstrates that scientific papers are suitable for data-driven text summarization. Our results could serve as valuable benchmarks for scaling sequence-to-sequence models to very long sequences.

研究の動機と目的

• 長文テキスト要約のための大規模かつ高品質な学習データの不足に応えるために、科学論文を活用すること。
• タイトルと要旨を要約の監視情報として用いることで、科学要約のための2つの新規で大規模なデータセットを構築すること。
• 全科学論文本文を入力として、要旨を要約とみなした場合に、既存の抽出的および生成的ニューラルモデルの性能を評価すること。
• 科学的テキストにおける長入力・長出力シーケンスへのシーケンス・トゥ・シーケンスモデルのスケーリングを確立するベンチマークを構築すること。

提案手法

• 500万件の生物医学論文から構築されたtitle-genデータセットを、要旨の要約としてのタイトルを用いて構築する。
• 90万件の生物医学論文から構築されたabstract-genデータセットを、全論文本文の要約としての要旨を用いて構築する。
• 非教師あり抽出的ベースラインとして、tfidf-embを採用。これは、TF-IDF重み付き単語埋め込みと文書重心とのコサイン類似度を用いて文をランク付けする。
• rwmd-rankを採用。これはリラクストド・ワード・ムーバーズ・ディスタンスを用いて文の類似度を計算し、LexRank中心性を適用して文をランク付けする。
• 単語、サブワード、文字レベル表現を用いた、再帰的および畳み込み型エンコーダー・デコーダーを備えた多様なニューラルシーケンス・トゥ・シーケンスモデルを適用する。
• 2つのデータセットにおいて、複数のモデルアーキテクチャを対象に定量的および定性的な評価を実施し、要約品質とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 科学論文は、データ駆動型テキスト要約のための大規模かつ高品質な学習データとして実用的であるか？
• RQ2 要旨を要約として用いる場合、全科学論文本文を入力とした抽出的および生成的ニューラルモデルの性能はいかがなものか？
• RQ3 既存のシーケンス・トゥ・シーケンスモデルは、科学的テキストにおける長入力・長出力シーケンスをどの程度スケーリングできるか？
• RQ4 単語、サブワード、文字レベルの埋め込みおよび符号化戦略の違いは、長大な科学的テキストにおける要約性能にどのような影響を与えるか？

主な発見

• 入力シーケンスの平均が1,000トークンを超える一方で出力シーケンスが約200トークンであるabstract-genデータセットは、従来の研究が主に短い入力に焦点を当てていたのとは対照的に、顕著な挑戦を伴う。
• tfidf-embおよびrwmd-rankの抽出的ベースラインは、単語埋め込みと組み合わせることで、科学的テキストにおいても単純な非教師あり手法が有効であることを示している。
• 特にサブワードまたは文字レベルのエンコーダーを用いたニューラル生成的モデルは、abstract-genデータセットにおいて抽出的手法を上回る性能を示しており、長文要約には生成的モデリングの必要性が示唆される。
• 本研究では、科学論文が高品質でマルチセンテンスの学習ペairを提供する豊富で無料のソースであることが立証され、長文要約のベンチマークに最も適していることが示された。
• 結果として、最先端のニューラルモデルが全科学論文の要約に効果的にスケーリング可能であり、ROUGEスコアの向上と定性的な一貫性の向上が確認された。