[논문 리뷰] Diverse Beam Search for Increased Novelty in Abstractive Summarization

André Cibils, Claudiu Musat외 2명|arXiv (Cornell University)|2018. 02. 05.

Topic Modeling참고 문헌 17인용 수 8

한 줄 요약

이 논문은 추상적 요약에서의 추출성 문제를 줄이고 ROUGE 점수를 향상시키기 위해 다양한 비트 서치(Diverse Beam Search, DBS) 방법을 제안한다. 비트 서치 손실에 다양성 요소를 통합하고 문장 임베딩을 활용해 다수의 다양한 요약을 조합함으로써, 복사된 텍스트에 대한 의존도를 감소시키며 ROUGE-1, ROUGE-2, ROUGE-L에서 각각 2점 이상 향상된 신선도와 자동 평가 지표를 달성한다.

ABSTRACT

Text summarization condenses a text to a shorter version while retaining the important informations. Abstractive summarization is a recent development that generates new phrases, rather than simply copying or rephrasing sentences within the original text. Recently neural sequence-to-sequence models have achieved good results in the field of abstractive summarization, which opens new possibilities and applications for industrial purposes. However, most practitioners observe that these models still use large parts of the original text in the output summaries, making them often similar to extractive frameworks. To address this drawback, we first introduce a new metric to measure how much of a summary is extracted from the input text. Secondly, we present a novel method, that relies on a diversity factor in computing the neural network loss, to improve the diversity of the summaries generated by any neural abstractive model implementing beam search. Finally, we show that this method not only makes the system less extractive, but also improves the overall rouge score of state-of-the-art methods by at least 2 points.

연구 동기 및 목표

• 최신 추상적 요약 모델, 특히 포인터-제너레이터 네트워크를 사용하는 모델에서 과도하게 복사된 텍스트에 의존하는 문제를 해결하기 위해.
• 伝통적 플라그리즘 검출 방법의 한계를 극복하기 위해 추상적 요약의 추출성 수준을 정량적으로 측정할 수 있는 새로운 지표를 개발하기 위해.
• 비트 서치 디코딩을 수정하여 다각적이고 중복되지 않는 출력을 선호함으로써 요약의 독창성을 향상시키기 위해.
• 더 높은 ROUGE 점수를 얻기 위해 복사가 많아야 한다는 가정을 뒤집고, 추출성이 감소함과 동시에 ROUGE 점수가 향상될 수 있음을 입증하기 위해.
• 모델 아키텍처 수정 없이도 어떤 비트 서치 기반 추상적 요약기와도 호환되는 즉시 사용 가능한 방법을 제공하기 위해.

제안 방법

• 요약 내용의 입력 텍스트에서 복사된 비율을 측정할 수 있는 새로운 추출성 지표인 plagiarism_score를 도입한다.
• 후보 시퀀스 간 유사도를 방지하기 위해 손실 함수를 수정하는 다각적 비트 서치를 제안한다. 이는 언어적 다양성을 증진시킨다.
• 문장 임베딩을 사용해 후보 요약 간 유사도를 계산하고, 최대 경계 유사도(Maximal Marginal Relevance, MMR) 전략을 적용해 다각적이고 고성능의 요약을 비트 서치 출력에서 선별한다.
• 비트 서치 출력을 MMR 기반 선택 메커니즘을 통해 조합하여, 더 높은 독창성과 보편성을 확보한 최종 요약을 생성한다.
• 모델 아키텍처 변경 없이도 기존 추상적 모델(예: 포인터-제너레이터 네트워크)에 적용 가능하게 하여 즉시 통합이 가능하도록 한다.
• MMR 알고리즘의 파라미터 N(문장 수)과 β(다양성 무게 조정 요소)를 조정하여 요약 길이와 다양성 간의 트레이드오프를 최적화한다.

실험 결과

연구 질문

• RQ1 복수의 복사된 스트링을 포함하는 요약에 대해서도 정확하게 추출성 수준을 측정할 수 있는 새로운 지표가 가능한가?
• RQ2 다양한 비트 서치를 추상적 요약에 적용할 경우, 입력 텍스트에서의 복사 의존도는 감소하면서도 ROUGE 점수는 유지 또는 향상되는가?
• RQ3 비트 서치 출력의 다양성이 효과적으로 조합되어 독창성과 자동 평가 점수 모두 향상된 요약을 생성할 수 있는가?
• RQ4 제안된 추출성 지표는 인간 평가자의 요약 품질 및 독창성 평가와 상관관계가 있는가?
• RQ5 이 방법은 비트 서치를 사용하는 다양한 추상적 요약 모델에 일반화 가능한가?

주요 결과

• 제안된 추출성 지표인 plagiarism_score와 extraction_score는 인간 평가와 잘 상관되며, 기존 플라그리즘 검출 도구가 놓치는 고도의 추출적 행동까지도 식별할 수 있다.
• N=3 및 β=0.35로 설정한 다각적 비트 서치를 적용했을 때, 기준 PGNet 대비 plagiarism_score는 0.401에서 0.368로 감소하였고, extraction_score는 0.401에서 0.282로 감소하여 복사 의존도가 크게 감소한 것으로 나타났다.
• N=4 및 β=0.20로 설정했을 경우, plagiarism_score는 0.211로 더 감소하여 더 긴 요약은 관련 내용을 과도하게 복사하지 않고도 효과적으로 분포시킬 수 있음을 보여주었다.
• 기준 PGNet 대비 ROUGE-1, ROUGE-2, ROUGE-L F1 점수를 각각 2점 이상 향상시켜 추출성이 감소함과 동시에 품질이 향상된 '윈윈' 효과를 입증했다.
• 문장 임베딩과 MMR 기반 조합 메커니즘을 통해 요약의 독창성과 ROUGE 점수를 향상시켰으며, 모델 재학습 없이도 성능 향상이 가능했다.
• 이 방법은 어떤 비트 서치 기반 추상적 요약기와도 일반적으로 적용 가능하므로 산업 및 연구 응용 분야에서 실용적이고 효과적인 보완 조치로 활용될 수 있다.