[論文レビュー] CSL: A Large-scale Chinese Scientific Literature Dataset

Yudong Li, Yuqing Zhang+5 more|arXiv (Cornell University)|Sep 12, 2022

Topic Modeling被引用数 12

ひとこと要約

本稿では、396,209編の論文を含む、タイトル、要旨、キーワード、学術分野を備えた、中国語科学文献分野における初の大規模データセットであるCSLを紹介する。このデータセットは中国語NLPモデルの事前学習を可能にし、要約、キーワード生成、分類などのタスクにおけるベンチマークを確立する。既存モデルの性能は妥当なベースラインを示しているが、依然として根深い課題が残っていることが明らかになった。

ABSTRACT

Scientific literature serves as a high-quality corpus, supporting a lot of Natural Language Processing (NLP) research. However, existing datasets are centered around the English language, which restricts the development of Chinese scientific NLP. In this work, we present CSL, a large-scale Chinese Scientific Literature dataset, which contains the titles, abstracts, keywords and academic fields of 396k papers. To our knowledge, CSL is the first scientific document dataset in Chinese. The CSL can serve as a Chinese corpus. Also, this semi-structured data is a natural annotation that can constitute many supervised NLP tasks. Based on CSL, we present a benchmark to evaluate the performance of models across scientific domain tasks, i.e., summarization, keyword generation and text classification. We analyze the behavior of existing text-to-text models on the evaluation tasks and reveal the challenges for Chinese scientific NLP tasks, which provides a valuable reference for future research. Data and code are available at https://github.com/ydli-ai/CSL

研究の動機と目的

• 中国語科学NLPリソースの不足を解消するため、中国語学術論文の包括的データセットを構築すること。
• 複数の教師ありNLPタスクを可能にする、自然にアノテートされた半構造的コーパスを提供すること。
• 中国語における実世界の科学NLPタスクを評価するためのベンチマークを確立すること。
• T5を微調整することで、CSLを事前学習コーパスとしての有用性を示し、一般ドメインの事前学習よりも優れた性能を示すこと。
• 既存のベースライン性能が妥当であるにもかかわらず、中国語科学NLPにおける継続的な課題を特定し、今後の研究方向を示唆すること。

提案手法

• CSLデータセットは、13の一次分野および67の二次分野にまたがる包括的な学術雑誌から収集された396,209編の中国語学術論文から構築された。
• メタデータにはタイトル、要旨、キーワード、学術分野、学科が含まれ、分野ごとの長さと分布に関する詳細な統計が提供されている。
• テキスト・トゥ・テキストタスクを用いたベンチマークが設計された：要約（要旨 → タイトル）、キーワード生成（要旨 → キーワード）、分類（要旨 → 分野／学科）。
• 著者は、T5を含む最先端の中国語テキスト・トゥ・テキストモデルを、単一タスクおよびマルチタスク学習の両方の設定でこれらのタスクに微調整した。
• 論文の要旨で事前学習されたドメイン適応型モデル、CSL-T5が開発され、一般ドメインコーパスで事前学習されたモデルよりも優れた性能を示した。
• 評価指標には、要約タスクのROUGE-Lとキーワード生成のBpref、分類タスクの正答率が用いられた。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ高品質な中国語科学文献データセットは、NLPモデルの効果的な事前学習と微調整を可能にするか？
• RQ2 既存のテキスト・トゥ・テキストモデルは、中国語科学NLPタスク（要約、キーワード生成、分類）においてどのように性能を示すか？
• RQ3 マルチタスク学習は、さまざまな中国語科学NLPタスクにおける性能にどのような影響を与えるか？
• RQ4 一般ドメインの事前学習と比較して、科学的要旨でドメイン適応型事前学習を実施した場合、下流タスクの性能はどのように変化するか？
• RQ5 妥当なベースライン結果が得られているにもかかわらず、中国語科学NLPにおける主な課題は何か？

主な発見

• CSL要旨で事前学習されたCSL-T5は、一般ドメインコーパスで事前学習されたモデルを上回る性能を示し、ドメイン特化型事前学習の価値を実証した。
• 既存のモデルは中国語科学NLPタスクにおいて妥当な性能を示しているが、満足できる水準には達していない。これは、さらなる改善の余地が大きいことを示している。
• マルチタスク学習は単一タスク微調整をわずかに上回る性能を示し、同じデータセットから導出された同種のタスク間で知識の転送が可能であることが示唆された。
• ベンチマークは、要約とキーワード生成が依然として挑戦的であることを明らかにした。ROUGE-LスコアとBpref値は、モデルの洗練の余地があることを示している。
• 入力出力の組み合わせにより、このデータセットは多様なNLPタスクをサポートし、クロスタスクおよびフェイシュート学習の探求を可能にした。
• 著者らは、CSLが倫理的に適切に調達されており、個人情報や著作権の問題がないことを確認した。これは、政府がライセンスを交付した学術リソースから匿名化されたメタデータを用いているためである。