[논문 리뷰] ParaSCI: A Large Scientific Paraphrase Dataset for Longer Paraphrase Generation

Qingxiu Dong, Xiaojun Wan외 1명|arXiv (Cornell University)|2021. 01. 21.

Topic Modeling참고 문헌 23인용 수 4

한 줄 요약

ParaSCI는 ACL과 arXiv에서 유래한 350,044组의 복구문 쌍을 포함하는 대규모 과학적 복구문 데이터셋으로, 반복된 기여나 용어 정의와 같은 내부 및 상호 논문 패턴을 활용해 구축되었다. 이는 장문의 과학적 복구문 생성에 효과적으로 기여하며, Quora나 MSCOCO와 같은 일반 도메인 데이터셋을 기반으로 훈련된 모델에 비해 더 길고 다양하며 지식이 풍부한 출력을 생성한다.

ABSTRACT

We propose ParaSCI, the first large-scale paraphrase dataset in the scientific field, including 33,981 paraphrase pairs from ACL (ParaSCI-ACL) and 316,063 pairs from arXiv (ParaSCI-arXiv). Digging into characteristics and common patterns of scientific papers, we construct this dataset though intra-paper and inter-paper methods, such as collecting citations to the same paper or aggregating definitions by scientific terms. To take advantage of sentences paraphrased partially, we put up PDBERT as a general paraphrase discovering method. The major advantages of paraphrases in ParaSCI lie in the prominent length and textual diversity, which is complementary to existing paraphrase datasets. ParaSCI obtains satisfactory results on human evaluation and downstream tasks, especially long paraphrase generation.

연구 동기 및 목표

• 과학 분야에서 대규모 장문 복구문 데이터셋의 부족으로 과학적 복구문 생성이 저해되는 문제를 해결하기 위해.
• 전체 문장뿐 아니라 부분적으로 복구된 문단에서도 복구문을 탐지할 수 있는 방법을 개발하여 기존 과학적 텍스트의 활용도를 극대화하기 위해.
• 과학 NLP 작업, 특히 생성 및 데이터 증강을 위해 특화된 고품질, 다양한, 장문의 복구문 데이터셋을 구축하기 위해.
• 과학적으로 정확하고 맥락이 풍부하며 구조적으로 복잡한 복구문을 생성할 수 있는 신경망 모델을 훈련하기 위해.

제안 방법

• 내부 논문 방법(예: 반복된 기여)과 상호 논문 방법(예: 동일한 논문에 대한 인용, 동일한 용어의 정의)을 활용하여 복구문 쌍을 추출함으로써 ParaSCI를 구축한다.
• 부분적으로 복구된 문장 간에 의미적으로 동일한 부분을 식별할 수 있는 PDBERT라는 미세조정된 BERT 모델을 설계한다.
• 기존 복구문 쌍을 연결하여 PDBERT의 부분 복구문 탐지에 사용할 가짜 훈련 데이터를 생성한다.
• 인간 평가와 자동 메트릭을 사용하여 후보 복구문 쌍을 필터링하고 검증하여 고품질을 확보한다.
• 공개 가능한 두 개의 서브셋을 배포한다: ParaSCI-ACL(33,981개의 쌍)과 ParaSCI-arXiv(316,063개의 쌍).
• ParaSCI에서 훈련하고 Quora 및 MSCOCO에서 훈련한 모델과의 성능을 비교하여 복구문 생성 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 내부 및 상호 논문 패턴을 활용하여 과학 문헌에서 체계적으로 대규모 장문 복구문 데이터셋을 구축할 수 있는가?
• RQ2 PDBERT와 같은 모델이 과학 텍스트에서 부분 복구문 세그먼트를 효과적으로 식별함으로써 데이터 활용도를 향상시킬 수 있는가?
• RQ3 ParaSCI에서 훈련된 복구문 생성 모델이 일반 도메인 데이터셋보다 장문의 복잡한 과학 문장에서 더 뛰어난 성능을 보일 수 있는가?
• RQ4 ParaSCI에서 훈련된 모델이 생성한 복구문에 과학 용어, 약어, 도메인 전용 지식을 얼마나 잘 통합하는가?

주요 결과

• ParaSCI는 총 350,044개의 고품질 복구문 쌍을 포함하며, 이 중 33,981개는 ACL에서, 316,063개는 arXiv에서 유래하여, 첫 번째 대규모 과학 복구문 데이터셋이다.
• ParaSCI에서 훈련된 모델는 Quora나 MSCOCO에서 훈련된 모델와는 달리 더 길고 구조적으로 복잡한 문장을 생성하며, 과학적 용어와 적절한 약어 사용이 풍부하다. 반면, Quora나 MSCOCO 기반 모델은 짧고 불완전하거나 구조적으로 유사한 출력을 생성한다.
• PDBERT는 부분적으로 복구된 문장 간에 의미적으로 동일한 부분을 성공적으로 식별하여, 이질적으로 간주되어 폐기될 수 있었던 유용한 복구문 패턴을 탐지할 수 있었다.
• 인간 평가를 통해 ParaSCI에서 유래한 복구문은 특히 장문의 과학적 내용에서 더 다양하고 맥락에 적합하다고 확인되었다.
• ParaSCI에서 훈련된 모델가 생성한 문장은 엔티티 크기(예: Penn Discourse Treebank는 2,312개의 기사 보유)나 기술적 약어(예: 문장 기반 MT 시스템에 대해 'moses' 사용)와 같은 도메인 전용 지식을 포함하고 있다.
• 이 데이터셋은 강력한 전이 가능성을 보이며, 장문 복구문 생성 분야에서 자동 평가 및 인간 평가 모두에서 일반 데이터셋 기반 모델보다 ParaSCI에서 훈련된 모델의 성능이 뛰어나다.