[논문 리뷰] SKT5SciSumm -- Revisiting Extractive-Generative Approach for Multi-Document Scientific Summarization

Huy Quoc To, Liu, Ming외 5명|arXiv (Cornell University)|2024. 02. 27.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 SPECTER 임베딩과 K-means 클러스터링을 사용해 추출적 요약을 수행하고, 미세튜닝된 T5 모델을 활용해 개괄적 생성을 수행하는 하이브리드 추출-생성 프레임워크인 SKT5SciSumm을 제안한다. Multi-XScience 데이터셋에서 최신 기준 성능을 달성하며, ROUGE-L 점수 19.88과 ROUGE-LSum 점수 33.23을 기록하여 이전 방법들을 능가한다.

ABSTRACT

Summarization for scientific text has shown significant benefits both for the research community and human society. Given the fact that the nature of scientific text is distinctive and the input of the multi-document summarization task is substantially long, the task requires sufficient embedding generation and text truncation without losing important information. To tackle these issues, in this paper, we propose SKT5SciSumm - a hybrid framework for multi-document scientific summarization (MDSS). We leverage the Sentence-Transformer version of Scientific Paper Embeddings using Citation-Informed Transformers (SPECTER) to encode and represent textual sentences, allowing for efficient extractive summarization using k-means clustering. We employ the T5 family of models to generate abstractive summaries using extracted sentences. SKT5SciSumm achieves state-of-the-art performance on the Multi-XScience dataset. Through extensive experiments and evaluation, we showcase the benefits of our model by using less complicated models to achieve remarkable results, thereby highlighting its potential in advancing the field of multi-document summarization for scientific text.

연구 동기 및 목표

• 다양한 출처에서 온 긴 복잡한 과학 문서를 요약하는 과제를 해결하기 위해.
• 효과적인 문장 추출과 고품질의 개괄적 생성을 융합하여 요약 품질을 향상시키기 위해.
• 보다 단순하고 모듈화된 구성 요소가 과학적 요약에서 복잡한 종단 간 모델보다 뛰어난 성능을 낼 수 있음을 입증하기 위해.
• 다양한 T5 모델 크기의 과학적 텍스트 요약 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 과학적 문장의 문맥적 임베딩을 생성하기 위해 인용 정보를 반영한 문장 변환기인 SPECTER를 사용한다.
• SPECTER 임베딩에 K-means 클러스터링을 적용하여 비지도 방식으로 가장 중요한 문장을 추출한다.
• 추출된 문장들에 대해 T5 모델(소형, 기본형, 대형, XL)을 미세튜닝하여 개괄적 요약을 생성한다.
• 두 단계의 파이프라인을 활용한다: 먼저 클러스터링을 통해 핵심 문장을 추출하고, 이후 T5를 통해 유창하고 간결한 요약을 생성한다.
• 학습, 검증, 평가에 Multi-XScience 데이터셋을 사용하며, '관련 연구' 섹션 생성에 집중한다.
• 강력한 베이스라인과의 비교를 위해 표준 ROUGE 메트릭(기준 R-1, R-2, R-L, R-LSum)을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 하이브리드 추출-생성 접근 방식이 다중 문서 과학적 요약에서 기존 최신 기준 모델을 능가할 수 있는가?
• RQ2 T5 모델 크기의 선택이 과학적 텍스트 요약 품질에 어떤 영향을 미치는가?
• RQ3 SPECTER 임베딩과 K-means 클러스터링을 사용하면 이전의 추출적 방법보다 더 나은 추출 성능를 달성할 수 있는가?
• RQ4 더 단순하고 모듈화된 파이프라인이 더 복잡한 종단 간 모델에 비해 뛰어난 결과를 낼 수 있는가?

주요 결과

• SKT5SciSumm은 Multi-XScience 데이터셋에서 최신 기준 성능을 달성하며, ROUGE-1 37.49, ROUGE-2 8.23, ROUGE-L 19.88, ROUGE-LSum 33.23을 기록한다.
• T5-large 모델이 가장 높은 ROUGE 점수를 기록하여 소형 버전들과 T5-XL 모델보다 뛰어나며, 과학적 어휘를 지나치게 재구성하는 경향을 보였다.
• 추출적 구성 요소(SPECTER + K-means)는 ROUGE-1 33.61, ROUGE-2 7.29, ROUGE-LSum 28.15를 기록하여 이전의 추출적 방법들보다 최소 1.46% 이상의 ROUGE-2 향상률을 확보했다.
• 이전의 최신 기준 모델인 KGSum에 비해 SKT5SciSumm은 ROUGE-1을 1.72% 향상시키고, ROUGE-2를 0.74% 향상시키며, ROUGE-LSum을 1.8% 향상시켰다.
• 제거 실험을 통해 SPECTER + K-means 추출기가 LexRank, TextRank 및 LEAD 기반 모델들보다 유의미하게 뛰어난 성능을 보였다.
• 인간 평가 결과, T5-large는 인간이 작성한 과학적 요약과 더 유사한 유창성과 구조적 유사성을 보였다.