[論文レビュー] Overview and Results: CL-SciSumm Shared Task 2019

Muthu Kumar Chandrasekaran, Michihiro Yasunaga+3 more|arXiv (Cornell University)|Jul 23, 2019

Topic Modeling参考文献 14被引用数 16

ひとこと要約

本論文は、計算言語学分野における科学的文書要約のための中規模評価であるCL-SciSumm 2019共同タスクの結果を提示する。40編の基準論文とSciSummNetから得た1,000件の追加論文を用いたデータセットを用い、3つのタスク（1A：引用テキストスパンの特定、1B：ディスcourseフェイズの分類、2：抽象的要約の生成）を評価する。主な発見は、特に要約生成において、大規模でノイズの多いデータで学習された深層学習モデルが従来手法を上回るが、スパン検出では小規模でクリーンなデータに対しては従来手法が優れていることである。

ABSTRACT

The CL-SciSumm Shared Task is the first medium-scale shared task on scientific document summarization in the computational linguistics~(CL) domain. In 2019, it comprised three tasks: (1A) identifying relationships between citing documents and the referred document, (1B) classifying the discourse facets, and (2) generating the abstractive summary. The dataset comprised 40 annotated sets of citing and reference papers of the CL-SciSumm 2018 corpus and 1000 more from the SciSummNet dataset. All papers are from the open access research papers in the CL domain. This overview describes the participation and the official results of the CL-SciSumm 2019 Shared Task, organized as a part of the 42nd Annual Conference of the Special Interest Group in Information Retrieval (SIGIR), held in Paris, France in July 2019. We compare the participating systems in terms of two evaluation metrics and discuss the use of ROUGE as an evaluation metric. The annotated dataset used for this shared task and the scripts used for evaluation can be accessed and used by the community at: https://github.com/WING-NUS/scisumm-corpus.

研究の動機と目的

• 計算言語学分野における科学的引用分析と抽象的要約に焦点を当てた共同タスクを導入することで、自動科学的文書要約の発展を図ること。
• 引用文から参照論文のスパンへの対応付け（1A）、ディスコースフェイズ分類（1B）、抽象的要約生成（2）の3つの関連タスクを評価すること。
• 再現可能な科学的要約研究を支援するため、40編の基準論文とSciSummNetから得た1,000件の追加論文を含む標準化されたコミュニティアノテーション付きデータセットを提供すること。
• 特にデータ品質と規模の変動に応じて、深層学習と従来の機械学習手法の性能を比較すること。
• 引用文をコミュニティが作成した要約として活用し、ROUGEベースの評価の信頼性を高めるという点に注目した、今後の科学的要約研究のベンチマークを確立すること。

提案手法

• 共同タスクは、CL-SciSumm 2018コーパスに由来する40編の基準論文と、SciSummNetデータセットから得た1,000件の追加論文を用いたデータセットを用いた。これらはすべてオープンアクセスの計算言語学研究論文である。
• タスク1Aでは、各引用文（citance）を参照論文内の最も関連性の高い引用テキストスパンにマッピングすることをシステムに求めた。スパンは連続する5文以内に制限された。
• タスク1Bでは、共通のアノテーションスキーマを用いて、各引用スパンを複数の事前に定義されたディスコースフェイズ（例：動機づけ、手法、結果）の1つに分類させた。
• タスク2では、引用スパンと提供された要約の情報を用いて、基準論文の抽象的要約（250語以内）を生成させた。
• 評価にはROUGE-1、ROUGE-2、F1スコアを用い、特に要約生成タスクではROUGE-2に注目した。人間アノテーション要約とコミュニティ生成要約を両方のリファレンスとして使用した。
• データ拡張はタスク1Aに類似度ベースのカットオフ手法を適用し、タスク1Bには拡張を適用しなかった。これにより、データ品質の異なる状況下でのモデル性能を比較可能にした。

実験結果

リサーチクエスチョン

• RQ1 深層学習と従来の機械学習手法は、CL-SciSumm 2019タスクにおいて、特にデータ品質と規模の変動に応じて、どのように性能を発揮するか。
• RQ2 データ拡張はタスク1Aの性能向上に寄与するか。また、その場合、モデルタイプ（深層学習対従来手法）によって差が生じるか。
• RQ3 SciSummNetコーパスから得たノイズの多い自動アノテーションデータで学習したシステムは、小規模で手作業で整備されたデータセットで学習したシステムを上回る性能を示せるか。
• RQ4 ROUGEスコアは、特に異なる種類のリファレンス要約（人間要約、コミュニティ要約など）に対して、人間の判断とどの程度相関しているか。
• RQ5 大規模でノイズの多いデータで学習したエンドツーエンドの深層学習モデルは、科学論文の抽象的要約タスクで最先端の性能を達成できるか。

主な発見

• タスク1Aで最高のスコアを記録したシステム（System 3）は、拡張済みデータで学習した深層学習モデルを用い、F1スコア0.126を達成したが、これはCL-SciSumm 2018で最高のシステム（F1スコア0.145）より低い水準であり、データノイズの影響が顕著に現れた。
• クリーンなデータで学習した場合、従来の機械学習モデルがタスク1Aで深層学習モデルを上回ったが、拡張済みのノイズの多いデータで学習した場合、深層学習モデルがそれを上回った。
• タスク1Bでは、従来手法が深層学習モデルを上回った。これは、データ拡張が行われず、フェイズ分類の複雑さが影響した可能性がある。
• タスク2で最高のスコアを記録したシステム（System 2）は、人間が書いた要約に対してROUGE-2スコア0.278を達成し、CL-SciSumm 2018の最良システム（0.252）を上回った。これは、SciSummNetから得た追加の学習データの恩恵が明確に示された。
• System 3は、基準要約に対してROUGE-2スコア0.514を記録し、最先端性能を0.2ポイント改善した。コミュニティ要約では0.204を記録し、要約タイプにかかわらず高い汎化性能を示した。
• 結果から、十分な訓練データが利用可能な場合には深層学習モデルが従来手法を上回ることが示され、一方でスパン検出タスクでは小規模でクリーンなデータセットに対しては従来手法が依然として優れていることがわかった。