[論文レビュー] ScisummNet: A Large Annotated Corpus and Content-Impact Models for Scientific Paper Summarization with Citation Networks

Michihiro Yasunaga, Jungo Kasai+5 more|arXiv (Cornell University)|Sep 4, 2019

Topic Modeling被引用数 42

ひとこと要約

科学論文要約のための大規模な手動注釈済みコーパス（1,000件のACL論文）を導入し、著者の要約と研究コミュニティの見解を引用スパンとグラフ畳み込みネットワークを用いて結合するハイブリッドな内容・影響モデルを提案する。

ABSTRACT

Scientific article summarization is challenging: large, annotated corpora are not available, and the summary should ideally include the article's impacts on research community. This paper provides novel solutions to these two challenges. We 1) develop and release the first large-scale manually-annotated corpus for scientific papers (on computational linguistics) by enabling faster annotation, and 2) propose summarization methods that integrate the authors' original highlights (abstract) and the article's actual impacts on the community (citations), to create comprehensive, hybrid summaries. We conduct experiments to demonstrate the efficacy of our corpus in training data-driven models for scientific paper summarization and the advantage of our hybrid summaries over abstracts and traditional citation-based summaries. Our large annotated corpus and hybrid methods provide a new framework for scientific paper summarization research.

研究の動機と目的

• 要約を伴う1,000件のACL Anthology論文の大規模手動注釈コーパスを作成することにより、科学論文要約におけるデータ不足に対処する。
• 著者の要約とコミュニティの影響（引用）を統合したより総合的な要約を実現するハイブリッド要約モデルを開発する。
• 引用ネットワークとグラフベースのニューラルアーキテクチャを活用して、要約品質を要約だけ・引用のみの手法より向上させる。

提案手法

• 1,000件のACL Anthology論文の参考文献を対象とした大規模な手動注釈コーパスを作成し、 incoming citation sentencesとexpert-authored gold summariesを含める。
• 入力 I を、著者要約と受け取った引用から特定された引用テキストスパンの和集合として構築し、コミュニティの見解を取り入れる。
• tf-idfコサイン類似度を用いて文の関係グラフを構築し、グラフ畳み込みネットワーク（GCN）を適用して入力文をエンコードし、顕在性スコアを導出する。
• 顕著性スコアに基づくグレーディ抽出要約で、要約を導くHybrid 1（要約と引用スパンを結合または拡張）またはHybrid 2（要約を有意義な引用スパンで補強）を作成する。
• 各引用スパンに対して権威特徴量（引用回数ベース）を組み込み、情報源の影響力を反映させる。
• ROUGE由来の顕在性をターゲットとするクロスエントロピー損失で、文エンコーディングにLSTM、2層GCN、softmax顕在性推定を組み込んだエンドツーエンドのニューラルモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 大規模で手動注釈されたコーパスは、データ駆動のニューラルモデルが従来の小規模データセットを上回る科学論文要約を実現できるか？
• RQ2 著者の要約と研究コミュニティの見解を融合するハイブリッド要約手法は、要約だけ・引用ベースだけの要約よりもより総合的な要約を生み出すか？
• RQ3 引用権威情報の組み込みは科学論文の要約の質を向上させるか？
• RQ4 CL-SciSummベンチマークにおける標準的なROUGE指標で、ハイブリッドモデルはベースラインとどう比較されるか？

主な発見

• 1,000例のコーパスは、このデータで訓練した場合、CL-SciSummベンチマークにおいてすべての従来参加者を上回ることを可能にする。
• 要約と引用テキストスパンを組み合わせたハイブリッドモデルは、要約のみや引用テキストスパンのみのアプローチよりも総合的な要約を生成する。
• Hybrid 2（要約を顕著な引用テキストスパンで補強する）は、ROUGE-2、ROUGE-3、SU4-F 指標で一貫して Hybrid 1 およびベースラインを上回る。
• 権威特徴量の使用は性能をさらに向上させ、影響度の高い論文からの引用がより高品質な要約に寄与することを示している。
• 定性的な例は、ハイブリッド要約が著者の動機とコミュニティの影響を受けた技術的詳細の両方を捉え、RPのカバレッジを改善することを示している。