[논문 리뷰] CSL: A Large-scale Chinese Scientific Literature Dataset

Yudong Li, Yuqing Zhang외 5명|arXiv (Cornell University)|2022. 09. 12.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 제목, 초록, 关键어, 학문 분야를 포함하는 396,209편의 논문을 포함한 중국어 과학문헌 분야의 첫 번째 대규모 데이터셋인 CSL을 소개한다. 이 데이터셋은 중국어 NLP 모델의 사전 훈련을 가능하게 하고 요약, 关键어 생성, 분류와 같은 작업에 대한 벤치마크를 설정하며, 기존 모델의 성능은 만족스럽지만 여전히 지속적인 과제가 있음을 드러낸다.

ABSTRACT

Scientific literature serves as a high-quality corpus, supporting a lot of Natural Language Processing (NLP) research. However, existing datasets are centered around the English language, which restricts the development of Chinese scientific NLP. In this work, we present CSL, a large-scale Chinese Scientific Literature dataset, which contains the titles, abstracts, keywords and academic fields of 396k papers. To our knowledge, CSL is the first scientific document dataset in Chinese. The CSL can serve as a Chinese corpus. Also, this semi-structured data is a natural annotation that can constitute many supervised NLP tasks. Based on CSL, we present a benchmark to evaluate the performance of models across scientific domain tasks, i.e., summarization, keyword generation and text classification. We analyze the behavior of existing text-to-text models on the evaluation tasks and reveal the challenges for Chinese scientific NLP tasks, which provides a valuable reference for future research. Data and code are available at https://github.com/ydli-ai/CSL

연구 동기 및 목표

• 중국어 과학문헌 NLP 자원의 부족을 해결하기 위해 중국어 학술 논문의 포괄적인 데이터셋을 구축하는 것.
• 다양한 감독형 NLP 작업을 지원하는 반구조적이고 자연스럽게 주석 처리된 코퍼스를 제공하는 것.
• 실제 과학문헌 NLP 작업을 위한 중국어 환경에서의 모델 평가를 위한 기준을 설정하는 것.
• T5를 미세조정하여 사전 훈련된 모델의 성능 향상을 보여줌으로써 CSL이 사전 훈련 코퍼스로서의 유용성을 입증하는 것.
• 기존의 만족스러운 기준 성능에도 불구하고 여전히 남아 있는 중국어 과학문헌 NLP의 과제를 규명하고 향후 연구 방향을 안내하는 것.

제안 방법

• CSL 데이터셋은 13개의 1급 분야와 67개의 2급 학문 분야에 걸쳐 수집된 396,209편의 중국어 학술 논문에서 구성되었다.
• 메타데이터에는 제목, 초록, 关键어, 학문 분류 및 분야가 포함되며, 분야 간 길이와 분포에 대한 상세 통계가 제공된다.
• 텍스트 텍스트 작업을 기반으로 한 벤치마크가 설계되었으며, 요약(초록 → 제목), 关键어 생성(초록 → 关键어), 분류(초록 → 분류/분야)가 포함된다.
• 저자는 최신의 중국어 텍스트 텍스트 모델, T5 등을 이러한 작업에 대해 미세조정하였으며, 단일 작업 및 다중 작업 학습 설정을 모두 사용하였다.
• 논문 초록에 대해 사전 훈련된 도메인 적응형 모델인 CSL-T5가 일반 도메인 코퍼스에 대해 사전 훈련된 모델보다 우수한 성능을 보였음을 입증하였다.
• 평가 지표로는 요약 작업에 대해 ROUGE-L, 关键어 생성에 대해 Bpref, 분류 작업에 대해 정확도가 사용되었다.

실험 결과

연구 질문

• RQ1 대규모이고 고품질의 중국어 과학문헌 분야의 데이터셋이 NLP 모델의 효과적인 사전 훈련과 미세조정을 지원할 수 있는가?
• RQ2 기존의 텍스트 텍스트 모델은 요약, 关键어 생성, 분류와 같은 중국어 과학문헌 NLP 작업에서 어떻게 성능을 내는가?
• RQ3 다중 작업 학습은 다양한 중국어 과학문헌 NLP 작업에서 성능에 어떤 영향을 미치는가?
• RQ4 일반 도메인 사전 훈련과 비교했을 때 과학 초록에 대해 도메인 적응형 사전 훈련을 수행했을 때 하류 작업 성능은 어떻게 되는가?
• RQ5 기존의 만족스러운 기준 성능에도 불구하고 중국어 과학문헌 NLP에서 여전히 남아 있는 주요 과제는 무엇인가?

주요 결과

• CSL 초록에 대해 사전 훈련된 T5 모델인 CSL-T5는 일반 도메인 코퍼스에 대해 사전 훈련된 모델보다 우수한 성능을 보이며, 도메인 특화 사전 훈련의 가치를 입증한다.
• 기존 모델은 중국어 과학문헌 NLP 작업에서 만족스럽지만 충분히 높은 성능을 내지 못하며, 향후 개선 여지가 크다는 것을 시사한다.
• 다중 작업 학습은 단일 작업 미세조정보다 略적으로 우수한 성능을 보이며, 동일한 데이터셋에서 유도된 유사한 작업 간 지식 전이가 가능하다는 것을 시사한다.
• 벤치마크는 요약과 关键어 생성이 여전히 도전적인 과제임을 드러내며, ROUGE-L 점수와 Bpref 값은 모델 정교화의 여지를 시사한다.
• 입력-출력 조합을 통해 다양한 NLP 작업을 지원하며, 교차 작업 및 소수 샘플 학습 탐색을 가능하게 한다.
• 저자는 CSL이 정부 라이선스를 받은 학술 자원의 익명화된 메타데이터를 사용하여 윤리적으로 확보되었으며, 개인정보나 저작권 문제 없이 제작되었음을 확인한다.