[논문 리뷰] Systematically Exploring Redundancy Reduction in Summarizing Long Documents

Wen Xiao, Giuseppe Carenini|arXiv (Cornell University)|2020. 11. 30.

Topic Modeling참고 문헌 23인용 수 15

한 줄 요약

이 논문은 장문의 문서 요약에서의 중복을 줄이기 위한 체계적인 접근법을 제안하며, 점수 부여 및 문장 선택 과정에서 문장의 중요도와 비중복성을 명시적으로 균형 잡는 세 가지 새로운 방법을 도입한다. Pubmed 및 arXiv 데이터셋에서 평가한 결과, 기존의 기준 대비 중복을 크게 줄이면서도 최신 기술 수준(SOTA)의 ROUGE 점수를 달성하였다.

ABSTRACT

Our analysis of large summarization datasets indicates that redundancy is a very serious problem when summarizing long documents. Yet, redundancy reduction has not been thoroughly investigated in neural summarization. In this work, we systematically explore and compare different ways to deal with redundancy when summarizing long documents. Specifically, we organize the existing methods into categories based on when and how the redundancy is considered. Then, in the context of these categories, we propose three additional methods balancing non-redundancy and importance in a general and flexible way. In a series of experiments, we show that our proposed methods achieve the state-of-the-art with respect to ROUGE scores on two scientific paper datasets, Pubmed and arXiv, while reducing redundancy significantly.

연구 동기 및 목표

• 장문의 요약(특히 과학 논문)에서 중복의 정도와 영향을 조사한다.
• 기존의 신경망 기반 중복 감소 기법들을 추출적 요약에서 systematic하게 분류하고 비교한다.
• 점수 부여 및 선택 단계에서 문장의 중요도와 비중복성을 명시적으로 균형 잡는 세 가지 새로운 일반적이고 유연한 방법을 제안한다.
• 이러한 방법들이 장문의 문서에서 효과적으로 작용하는지 ROUGE 점수와 중복도 측정 기준을 통해 평가한다.
• 장문의 문서에서 선택 단계에서의 중복 감소가 점수 부여 단계에서의 중복 감소보다 더 효과적임을 입증한다.

제안 방법

• 공통 기준 모델(Xiao와 Carenini, 2019) 내에서 기존의 중복 감소 기법들을 재현하여 공정한 비교를 확보한다.
• 세 가지 새로운 방법을 제안한다: (1) 중복 인지 기능을 통합한 수정된 디코더를 통한 문장 점수 부여, (2) 중복된 문장을 선택할 경우에 벌점을 주는 맞춤형 손실 함수, (3) 문장 유사도에 기반한 동적 임계값을 사용하는 문장 선택 알고리즘.
• 이러한 방법들은 다양한 신경 추출적 요약 프레임워크에 통합될 수 있도록 일반적이고 융통성 있게 설계되었다.
• 중복도는 고유한 n-gram 비율과 문장 임베딩 간 코사인 유사도를 사용하여 측정된다.
• 모델들은 두 가지 장문의 문서 데이터셋(Pubmed 및 arXiv)에서 훈련 및 평가되며, 평가 지표로 ROUGE 점수와 중복도 측정 기준이 사용된다.
• 문서 길이 및 중복 수준의 변화에 따라 다양한 조건에서 방법들을 평가하여 내재적 안정성과 일반화 능력을 점검한다.

Figure 1: The average unique n-gram ratio in the documents across different datasets. To reduce the effect of length difference, stopwords were removed.

실험 결과

연구 질문

• RQ1 장문의 문서(예: 과학 논문)와 단문의 문서(예: 뉴스 기사) 사이에서 중복은 어떻게 다를까?
• RQ2 점수 부여 단계 또는 선택 단계에 적용된 중복 감소 전략 중 어느 것이 장문의 요약에서 더 높은 성능을 낼 수 있는가?
• RQ3 명시적이고, 융통성 있고, 일반적인 중복 감소 방법이 신경 추출적 요약에서 ROUGE 점수 향상과 중복 감소를 동시에 향상시킬 수 있는가?
• RQ4 다양한 문서 길이와 중복 수준에서 다양한 중복 감소 기법은 어떻게 성능을 내는가?
• RQ5 중복 감소 기법의 효과성은 요약 길이나 원본 문서의 본질적 중복 수준에 따라 달라지는가?

주요 결과

• 제안된 방법들은 Pubmed 및 arXiv 데이터셋에서 모두 최신 기술 수준의 ROUGE 점수를 달성하며, 기존의 신경망 및 비신경망 기준을 모두 능가한다.
• 장문의 과학 논문에서의 중복도는 단문의 뉴스 기사보다 유의미하게 높으며, 이는 장문의 요약에서 전용 중복 감소 기법이 필요함을 입증한다.
• MMR-Select+는 특히 높은 중복성을 가진 문서에서 정보성(ROUGE)과 중복 감소 사이의 최적의 균형을 달성한다.
• 선택 단계에서의 중복 감소가 점수 부여 단계에서의 중복 감소보다 더 효과적임이 입증되었으며, 이는 선택 단계 기법이 더 뛰어난 성능을 보였기 때문이다.
• Trigram Blocking 방법은 중복 감소 효과가 가장 크지만 정보성 손실도 가장 크기 때문에, 높은 중복성을 가진 장문의 문서에는 적합하지 않다.
• 제안된 방법들은 다양한 요약 길이 제한 조건에서도 안정적인 성능을 유지하여, 다양한 출력 길이에 걸쳐 강건성과 일반화 능력을 보여준다.

Figure 2: The pipeline of the MMR-Select+ method, where $\hat{S},\hat{Y}$ and $\bar{S},\bar{Y}$ are the summary and labels generated by the MMR-Select algorithm and the normal greedy algorithm, respectively. $S$ and $Y$ are the ground truth summary and the oracle labels.