[논문 리뷰] Analyzing Sentence Fusion in Abstractive Summarization

Logan Lebanoff, John Muchovej외 5명|arXiv (Cornell University)|2019. 10. 01.

Topic Modeling참고 문헌 34인용 수 4

한 줄 요약

이 논문은 인간의 주석을 활용하여 CNN/DailyMail 데이터셋에서 최첨단 모델 다섯 종류를 평가함으로써 개재 요약에서 문장 융합을 분석한다. 결과적으로 융합된 요약 문장의 38.3%가 잘못된 사실을 포함하고 있으며, 특히 실체 교체와 복잡한 융합 방법이 오류를 유발하기 쉬운 것으로 나타났다. 반면 단순한 연결 방식은 더 신뢰성 있고 문법적으로 올바른 출력을 제공한다.

ABSTRACT

While recent work in abstractive summarization has resulted in higher scores in automatic metrics, there is little understanding on how these systems combine information taken from multiple document sentences. In this paper, we analyze the outputs of five state-of-the-art abstractive summarizers, focusing on summary sentences that are formed by sentence fusion. We ask assessors to judge the grammaticality, faithfulness, and method of fusion for summary sentences. Our analysis reveals that system sentences are mostly grammatical, but often fail to remain faithful to the original article.

연구 동기 및 목표

• 최첨단 개재 요약 모델이 문장 융합을 얼마나 잘 수행하는지 조사하여, 내용 통합의 核심 과제인 문장 융합의 성능을 분석한다.
• 다수의 소스 문장을 융합하여 생성된 요약 문장에서의 사실성, 문법성, 융합 방법을 평가한다.
• 연결, 교체, 또는 복잡한 융합과 같은 다양한 융합 기법 중에서 더 높은 정확도와 문법성 확보에 기여하는 기법을 특정한다.
• PG, Novel, Fast-Abs-RL, Bottom-Up, DCA 등 다양한 모델의 신뢰성 있고 문법적으로 올바른 융합 문장을 생성하는 능력을 비교한다.
• 자동 평가 지표인 ROUGE의 한계를 보완하기 위해 문장 융합에 대한 인간 평가 기준을 제공한다.

제안 방법

• Amazon Mechanical Turk를 통해 인간 평가를 실시하여 요약 문장의 사실성, 문법성, 융합 방법을 평가하였다.
• 압축, 복사, 실패한 매칭과 구별하여 문장 융합에 의해 생성된 문장에 집중하였다.
• 소스 문장 쌍을 식별하기 위한 자동 히우리스틱을 사용하였으며, 정확한 소스 쌍을 식별한 비율을 커버리지로 측정하였다.
• 융합 방법을 카테고리화하여 분류: 균형/비균형 연결, 교체, 기타 복잡한 방법.
• PG, Novel, Fast-Abs-RL, Bottom-Up, DCA 등 다섯 종류의 최첨단 개재 요약 모델의 출력을 분석하였다.
• 신뢰성 향상을 위해 각 예시당 네 명의 평가자 활용. 사실성과 문법성 평가의 어려움을 감안하여.

실험 결과

연구 질문

• RQ1 다수의 소스 문장을 융합할 때 최첨단 개재 요약 모델이 문법적으로 잘못되거나 사실과 어긋나는 문장을 얼마나 자주 생성하는가?
• RQ2 연결, 교체, 또는 복잡한 융합과 같은 문장 융합 기법 중에서 사실성과 문법성 측면에서 더 높은 성능을 보이는 기법은 무엇인가?
• RQ3 다양한 최첨단 모델의 성능은 문장 융합 시 사실 일관성과 문법성 측면에서 어떻게 다를까?
• RQ4 소스 문장 쌍을 식별하기 위한 자동 히우리스틱의 결과가 인간의 판단과 얼마나 일치하는가?
• RQ5 왜 복잡한 융합 기법인 실체 교체와 같은 방법은 단순한 연결 방식보다 더 높은 오류율을 보이는가?

주요 결과

• 최첨단 모델이 생성한 요약 문장의 38.3%가 잘못된 사실을 포함하고 있어, 문장 융합 과정에서 사실 일관성 확보에 큰 과제가 있음을 시사한다.
• 요약 문장의 21.6%가 문법적으로 잘못되었으며, '기타' 융합 카테고리에서 가장 낮은 문법성(68.23%)을 보였다.
• 연결 기반 융합 방법(균형 및 비균형)은 각각 가장 높은 사실성(82.55% 및 69.40%)과 문법성(86.91% 및 80.25%)을 달성하였다.
• 실체 교체 및 복잡한 융합 방법은 잘못된 사실을 47~75%의 비율로 유발하여 고도화된 융합 기법에서 높은 오류율을 보였다.
• 소스 문장 쌍을 식별하기 위한 자동 히우리스틱의 커버리지는 평균 77.3%였지만, 복잡한 케이스에서는 낮아져 평가 신뢰성에 영향을 미쳤다.
• ROUGE 점수가 높은 편임에도 불구하고 PG 모델이 가장 높은 사실성(균형 연결 기준 82.55%)을 보였으며, 이는 ROUGE만으로는 사실성 평가가 부족함을 시사한다.