[논문 리뷰] Scoring Sentence Singletons and Pairs for Abstractive Summarization

Logan Lebanoff, Kaiqiang Song외 5명|arXiv (Cornell University)|2019. 05. 31.

Topic Modeling참고 문헌 52인용 수 8

한 줄 요약

이 논문은 압축 또는 융합을 위해 하나 또는 두 개의 소스 문장을 선택하는 것과 유사한 인간의 선택 방식을 모델링하여 개괄적 요약을 향상시키기 위해 문장 단일체와 쌍을 동시에 평가하는 통합 프레임워크를 제안한다. 내용 선택과 생성을 분리함으로써 개괄화가 향상되며, BERT 기반 모델은 특히 적은 수의 문장 쌍을 선택할 경우 뛰어난 성능을 보인다. 과도한 융합은 요약 품질을 떨어뜨리므로 주의가 필요하다.

ABSTRACT

When writing a summary, humans tend to choose content from one or two sentences and merge them into a single summary sentence. However, the mechanisms behind the selection of one or multiple source sentences remain poorly understood. Sentence fusion assumes multi-sentence input; yet sentence selection methods only work with single sentences and not combinations of them. There is thus a crucial gap between sentence selection and fusion to support summarizing by both compressing single sentences and fusing pairs. This paper attempts to bridge the gap by ranking sentence singletons and pairs together in a unified space. Our proposed framework attempts to model human methodology by selecting either a single sentence or a pair of sentences, then compressing or fusing the sentence(s) to produce a summary sentence. We conduct extensive experiments on both single- and multi-document summarization datasets and report findings on sentence selection and abstraction.

연구 동기 및 목표

• 문장 선택과 문장 융합 간의 격차를 해결하기 위해 문장 단일체와 쌍을 함께 순위 매김함으로써 개괄적 요약을 향상시키는 것.
• 내용이 종종 하나 또는 두 개의 문장에서 유래하며, 이를 요약 문장으로 압축하거나 융합하는 인간 요약 행동을 모델링하는 것.
• 내용 선택과 생성을 분리하여 개괄적 요약을 향상시키고, 중요한 내용 보존에 대한 더 나은 제어를 가능하게 하는 것.
• 단일체 대비 쌍 선택이 개괄적 모델 성능에 미치는 영향, 특히 개괄화와 사실 일관성 측면에서의 영향을 조사하는 것.
• 저자원 또는 도메인 특화 요약 설정에 적합한 유연하고 데이터 효율적인 접근법을 제공하는 것.

제안 방법

• 프레임워크는 신경망 표현(예: BERT)과 전통적인 벡터 공간 모델을 사용하여 문장 단일체와 쌍을 공유된 임베딩 공간에 인코딩한다.
• 학습된 평가 함수를 통해 각 단일체와 쌍이 고품질의 요약 문장을 생성할 가능성에 따라 점수를 매긴다.
• 추출적 요약은 상위 순위의 단일체와 쌍을 연결하여 생성되며, 개괄적 요약은 포인터-생성기 네트워크를 사용해 선택된 단일체와 쌍에서 디코딩하여 구축된다.
• 이 방법은 단일 문서 요약과 다중 문서 요약 모두를 지원하며, 압축(단일체) 대비 융합(쌍) 메커니즘에 대한 제어된 분석을 가능하게 한다.
• BERT 임베딩과 TF-IDF 및 기타 희소 특징을 조합한 혼합 표현 전략을 통해 평가의 강건성을 향상시킨다.
• DUC-04, CNN/Daily Mail, XSum 데이터셋에서 ROUGE 지표(R-1, R-2, R-L, R-SU4)를 사용해 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 인간이 작성한 요약문에서 하나의 문장을 압축하는 것과 두 개의 문장을 융합하는 비율은 얼마나 되는가?
• RQ2 단일체 대비 쌍 선택이 개괄적 요약 모델의 성능에 얼마나 큰 영향을 미치는가?
• RQ3 단일체와 쌍에 대한 통합 평가 프레임워크가 추출적 및 개괄적 요약 품질을 향상시킬 수 있는가?
• RQ4 소스 문장의 위치가 압축 또는 융합에 선택될 가능성에 미치는 영향은 어떠한가?
• RQ5 내용 선택과 생성을 분리하면 개괄적 모델의 개괄화 능력 향상과 환각 현상 감소에 기여하는가?

주요 결과

• DUC-04, CNN/Daily Mail, XSum에서 요약 문장의 60–85%가 하나 또는 두 개의 소스 문장을 융합하여 생성되며, 이는 융합이 인간의 주요 전략임을 시사한다.
• BERT 기반의 추출적 모델(BERT-Extr)이 DUC-04와 CNN/DM에서 개괄적 모델보다 우수한 성능을 보이며, 현재 개괄적 모델가 내용 보존에 어려움을 겪고 있음을 시사한다.
• XSum에서는 개괄적 모델가 추출적 모델보다 뛰어난 성능을 보이며, 고수준의 개괄화 작업에서는 생성 모델링이 더 유리함을 시사한다.
• 과도하게 문장 쌍을 선택하는 것(예: CNN/DM에서 76.9%, DUC-04에서 100%)은 개괄적 성능 저하와 관련이 있으며, 현재 모델가 융합 처리에 덜 효과적임을 시사한다.
• 인간이 작성한 요약의 첫 문장은 다수의 소스 문장을 융합한 경우가 훨씬 더 높은 확률로 나타나며, 이는 융합이 개괄적 개요 생성에 사용됨을 시사한다.
• XSum는 소스 문장의 위치가 산산이 흩어져 있어 단일체 및 쌍 선택에 더 큰 도전을 안겨주며, 특히 문장 쌍의 경우 더욱 그렇다.