[논문 리뷰] Combination of abstractive and extractive approaches for summarization of long scientific texts

Vladislav Tretyak, Denis Stepanov|arXiv (Cornell University)|2020. 06. 09.

Topic Modeling참고 문헌 11인용 수 4

한 줄 요약

이 논문은 장문의 과학적 논문 요약을 생성하기 위해 추출적 및 개성적 트랜스포머 기반 모델을 융합하는 하이브리드 요약 방법을 제안한다. 먼저 사전 훈련된 BERT 모델을 사용해 핵심 문장을 추출한 후, 추출적 요약, 서론 및 결론을 조건부 입력으로 사용해 BART 개성적 모델을 조기화한다. 이로 인해 arXiv 데이터셋에서 SOTA(최고 성능) ROUGE 점수 45.3 (Rouge-1), 25.1 (Rouge-2), 36.2 (Rouge-L) 를 달성한다.

ABSTRACT

In this research work, we present a method to generate summaries of long scientific documents that uses the advantages of both extractive and abstractive approaches. Before producing a summary in an abstractive manner, we perform the extractive step, which then is used for conditioning the abstractor module. We used pre-trained transformer-based language models, for both extractor and abstractor. Our experiments showed that using extractive and abstractive models jointly significantly improves summarization results and ROUGE scores.

연구 동기 및 목표

• 장문의 과학적 문서 요약 품질을 향상시키기 위해 추출적 및 개성적 접근 방식을 융합한다.
• 다양한 조건부 입력(예: 추출적 요약, 서론, 결론)이 개성적 요약 성능에 미치는 영향을 조사한다.
• 사전 훈련된 트랜스포머 모델이 장기 과학적 논문 요약에서 이전 방법을 능가할 수 있는지 평가한다.
• 향상된 ROUGE 점수를 얻기 위해 추출적 및 개성적 구성 요소의 최적 조합을 규명한다.
• 추출적 요약 및 핵심 섹션(서론/결론)이 개성적 생성에 가장 관련성이 높은 정보를 포함한다는 가설을 검증한다.

제안 방법

• BERT, RoBERTa 또는 ELECTRA 기반의 추출적 요약 모델을 문장 분류 작업으로 훈련하여 중요한 문장을 식별한다.
• 추출된 요약을 논문의 서론 및 결론과 결합하여 개성적 모델의 조건부 입력으로 구성한다.
• BART 기반의 개성적 모델을 추출적 요약 + 서론 + 결론의 병합 입력에 조건부로 설정해 자연어 요약을 생성한다.
• 기타 조건부 구성 요건도 테스트하며, 추출적 요약, 서론 또는 서론과 결론만으로 조건부로 설정하는 경우를 포함한다.
• GPT-2를 사용해 추출적 요약에 조건부로 개성적 생성을 수행하지만, 입력 길이 제한으로 인해 전체 길이의 조건부 설정이 제한된다.
• 모델은 교차 엔트로피 손실을 사용해 엔드 투 엔드로 미세조정되며, arXiv 데이터셋에서 ROUGE 메트릭을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 추출적 및 개성적 모델을 융합하면 장문의 과학적 논문 요약 품질이 향상되는가?
• RQ2 어느 조건부 입력(추출적 요약, 서론, 결론 또는 조합)이 개성적 요약 성능을 가장 높이는가?
• RQ3 이 하이브리드 설정에서 사전 훈련된 모델(BERT, BART)을 사용하는 것과 처음부터 훈련하는 것과의 성능 비교는 어떻게 되는가?
• RQ4 조건부로 설정된 개성적 생성이 오라클 추출적 기준을 초월하는 ROUGE 점수를 낼 수 있는가?
• RQ5 추출적 요약을 재구성(다시 표현)하여 조건부 입력으로 사용하면, 지표와의 일치도 손실로 인해 성능이 떨어지는가?

주요 결과

• BERT로 추출하고 BART로 개성적 생성하며, 추출적 요약, 서론 및 결론에 조건부로 설정한 최고 성능 모델이 ROUGE-1: 45.3, ROUGE-2: 25.1, ROUGE-L: 36.2 점수를 기록했다.
• 조건부 입력에서 추출적 요약을 제거하면 ROUGE 점수에 심각한 하락이 발생했으며, 이는 추출적 요약이 개성적 생성을 이끄는 데 핵심적인 역할을 한다는 것을 확인한다.
• 추출적 요약에 더해 서론과 결론을 함께 조건부 입력으로 사용한 것이, 서론 또는 결론만 사용한 경우보다 모든 구성 요건에서 뛰어난 성능을 보였다.
• 추출적 요약 + 서론 + 결론에 조건부로 설정한 BART 모델의 ROUGE-L 점수 36.2는 오라클 추출적 기준(36.0)을 초월했으며, 이는 개성적 생성이 추출적 방법만으로는 달성할 수 없는 더 간결하고 관련성 높은 요약을 생성할 수 있음을 시사한다.
• 추출적 요약을 재구성하여 조건부 입력으로 사용하면 성능이 심각하게 악화되었으며(ROUGE-1: 17.9, ROUGE-2: 3.5), 이는 지표와의 일치도 손실로 인한 것으로 보인다.
• 추출적 요약 + 서론 + 결론에 조건부로 설정한 BART 모델은 arXiv 데이터셋에서 모든 ROUGE 메트릭에서 이전의 SOTA 접근 방식을 뛰어넘었다.