[논문 리뷰] Multi-XScience: A Large-scale Dataset for Extreme Multi-document Summarization of Scientific Articles

Yao Lu, Yue Dong외 1명|arXiv (Cornell University)|2020. 10. 27.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 과학 논문에서 유래한 대규모 데이터셋인 Multi-XScience를 소개한다. 이는 논문의 초록과 참고문헌을 바탕으로 관련 연구 섹션을 생성하는 것을 목표로 하는 극단적 다중문서 요약 작업을 위한 것이다. 이 데이터셋은 개별 요약 모델이 추출적 복사가 아닌 고차원의 개성 있는 요약을 생성하도록 유도하도록 설계되었으며, 인간 평가 결과에 따르면 추출적 기반 모델보다 개성 있는 요약을 더 잘 생성하는 것으로 나타났다.

ABSTRACT

Multi-document summarization is a challenging task for which there exists little large-scale datasets. We propose Multi-XScience, a large-scale multi-document summarization dataset created from scientific articles. Multi-XScience introduces a challenging multi-document summarization task: writing the related-work section of a paper based on its abstract and the articles it references. Our work is inspired by extreme summarization, a dataset construction protocol that favours abstractive modeling approaches. Descriptive statistics and empirical results---using several state-of-the-art models trained on the Multi-XScience dataset---reveal that Multi-XScience is well suited for abstractive models.

연구 동기 및 목표

• 다중문서 요약(MDS)을 위한 대규모 고품질 데이터셋의 부족 문제를 해결하기 위해.
• 실제 과학적 글쓰기 양식을 반영하기 위해 논문 초록과 참고문헌에서 관련 연구 섹션을 생성하는 데이터셋을 구축하기 위해.
• 이전 MDS 데이터셋에서 흔히 발생하는 위치적 및 추출적 편향을 줄여 모델의 도전도를 높이기 위해.
• 높은 수준의 개성 요약 요구 사항을 가진 과학적 텍스트에서 최신 개성 요약 모델의 훈련 및 평가를 가능하게 하기 위해.
• 그래프 기반 및 비지도 학습 확장 기반 향후 과학문서 이해 연구를 지원하기 위해.

제안 방법

• 130만 개의 arXiv 논문과 Microsoft Academic Graph(MAG) 간 히وري스틱 기반 레코드 매칭 및 인간 검증을 포함한 다섯 차례 반복 정제 과정을 통해 데이터셋을 구축하였다.
• 각 샘플은 쿼리 논문의 초록과 그 참고문헌의 초록으로 구성되며, 타겟은 쿼리 논문의 문단 수준의 관련 연구 섹션이다.
• 모델이 다수의 소스 문서에서 일관되고 개성 있는 요약을 합성할 수 있도록 다중문서 요약 작업으로 설계되었다.
• 구축 프로토콜은 고품질의 정렬과 의미적 일관성을 강조하여 추출적 및 위치적 편향을 최소화하여 진정한 요약의 개성화를 유도한다.
• 평가에는 인간 평가를 활용하였으며, 두 명의 평가자가 모델 출력물의 품질과 글쓰기 스타일을 1~3점 척도로 순위 매겼다.
• 기준 모델로는 추출적 오라클(소스에서 복사), HiMAP, Pointer-Generator를 포함하며, 이 결과를 통해 데이터셋의 개성 요약 도전도를 검증하였다.

실험 결과

연구 질문

• RQ1 추출적 및 위치적 편향을 최소화하여 개성 요약 모델을 유도할 수 있는 대규모 과학적 다중문서 요약 데이터셋을 구축할 수 있는가?
• RQ2 Multi-XScience는 추출적 기반 모델 대비 현재의 개성 요약 모델을 얼마나 도전적으로 만들 수 있는가?
• RQ3 최신 개성 요약 모델(HiMAP, Pointer-Generator 등)이 실제 과학 문헌의 글쓰기 스타일과 내용을 얼마나 잘 재현하는가?
• RQ4 이 데이터셋은 과학적 텍스트 요약에서 더 견고한 개성 요약 모델 개발을 지원할 수 있는가?
• RQ5 인용 네트워크와 도메인 내 코퍼스 구조는 향후 데이터셋 확장에 어떤 영향을 미치는가?

주요 결과

• Multi-XScience 데이터셋은 MAG에서 정렬된 130만 개의 arXiv 논문을 포함하며, 대규모 고품질 MDS 벤치마크로 기능한다.
• 인간 평가 결과, 개성 요약 모델(HiMAP, Pointer-Generator)의 평균 점수는 각각 2.28과 2.18이며, 추출적 오라클(1.54)보다 높아 글쓰기 스타일과 일관성 면에서 뛰어나다.
• 추출적 오라클은 올바른 내용을 포괄하고 있음에도 불구하고 실제 관련 연구 섹션의 글쓰기 스타일을 따라하지 못해, 데이터셋이 개성 요약을 요구한다는 점을 입증한다.
• 실증 결과에 따르면 Multi-XScience는 개성 요약 모델에 적합하며, 선두 문장 복사나 추출적 히ュ리스틱 의존도를 줄여주는 것으로 확인되었다.
• 표 4 분석 결과, 이전 MDS 데이터셋보다 위치적 및 추출적 편향이 적은 것으로 확인되었다.
• 이 데이터셋은 향후 그래프 기반 요약 및 인용 네트워크 기반 도메인 내 비지도 미세조정을 위한 확장에 기여할 수 있다.