[논문 리뷰] End-to-End Segmentation-based News Summarization

Yang Liu, Chenguang Zhu외 1명|arXiv (Cornell University)|2021. 10. 15.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 뉴스 기사들을 주제별 섹션으로 분할하고 각 섹션에 대해 간결한 제목 스타일 요약을 생성하는 새로운 작업인 세그멘테이션 기반 뉴스 요약을 소개한다. 저자들은 세그멘테이션 인식 어텐션을 사용하는 통합 엔드 투 엔드 모델인 SegUniLM을 제안하여 세그멘테이션과 요약 성능을 모두 향상시켰으며, 27,000개의 애너테이션된 기사로 구성된 새로운 SegNews 데이터셋에서 강력한 베이스라인을 능가한다.

ABSTRACT

In this paper, we bring a new way of digesting news content by introducing the task of segmenting a news article into multiple sections and generating the corresponding summary to each section. We make two contributions towards this new task. First, we create and make available a dataset, SegNews, consisting of 27k news articles with sections and aligned heading-style section summaries. Second, we propose a novel segmentation-based language generation model adapted from pre-trained language models that can jointly segment a document and produce the summary for each section. Experimental results on SegNews demonstrate that our model can outperform several state-of-the-art sequence-to-sequence generation models for this new task.

연구 동기 및 목표

• 기존의 단일 요약 뉴스 요약 방식의 한계를 해결하기 위해, 장기 뉴스 기사의 탐색 및 세부 탐색을 지원하지 못하는 문제를 해결한다.
• 기사들을 주제별 섹션으로 나누고 각 섹션에 맞는 요약을 생성하는 새로운 작업인 세그멘테이션 기반 뉴스 요약을 제안한다.
• 27,000개의 뉴스 기사로 구성된 대규모 벤치마크 데이터셋인 SegNews를 구축하고, 섹션 경계와 해당하는 제목 스타일 요약을 애너테이션한다.
• 공유된 표현을 통해 두 작업 간 지식 전이를 가능하게 하며, 뉴스 기사의 세그멘테이션과 섹션별 요약 생성을 동시에 최적화하는 통합 학습 프레임워크를 설계한다.

제안 방법

• 제안된 SegUniLM 모델은 사전 학습된 언어 모델(예: BART, GPT, UniLM)을 비침습적으로 변형한 것으로, 세그멘테이션 인식 어텐션 메커니즘을 통합한다.
• 세그멘테이션 인식 어텐션 메커니즘은 요약 생성 중에 세그멘테이션 경계에 주의를 기울일 수 있도록 하여 맥락 인식 능력을 향상시킨다.
• 모델은 두 가지 목적을 동시에 최적화한다: 문서 세그멘테이션(문단 수준의 섹션 경계 식별)과 개괄적 요약(제목 스타일 요약 생성).
• 두 작업에 공통된 인코더를 사용하여 세그멘테이션과 요약 간 지식 전이를 가능하게 한다.
• 요약에 대한 교차 엔트로피 손실과 세그멘테이션 인식 대비 손실을 조합한 다중 태스크 손실을 사용하여 훈련한다.
• 다양한 사전 학습된 모델과 호환되어 융통성 있게 통합 가능하며 높은 성능을 발휘한다.

실험 결과

연구 질문

• RQ1 세그멘테이션과 요약의 통합 학습이 파ipelined 또는 고립된 접근 방식에 비해 두 작업의 성능을 향상시키는가?
• RQ2 세그멘테이션 인식 어텐션 메커니즘이 요약 품질과 세그멘테이션 정확도 향상에 얼마나 효과적인가?
• RQ3 제안된 SegUniLM 모델이 새로운 SegNews 벤치마크에서 강력한 베이스라인을 얼마나 뛰어넘는가?
• RQ4 통합 훈련 프레임워크는 장기 뉴스 기사에서 인지 부하를 줄이고 탐색성을 향상시키는가?

주요 결과

• 자동 평가 및 인간 평가 지표에서 SegUniLM은 파이프라인 베이스라인과 강력한 시퀀스-투-시퀀스 모델을 모두 능가한다.
• 인간 평가 결과, SegUniLM의 평균 요약 품질 점수는 2.17로, 파이프라인 UniLM의 1.93보다 유의미하게 높아, 요약의 관련성과 통일성 향상을 입증한다.
• 제거 실험 결과, 9개의 세그멘테이션 인식 어텐션 헤드를 사용할 경우 ROUGE 점수가 최적임을 확인하였으며, 이 수치를 초과하거나 저하할 경우 성능이 떨어진다.
• 세그멘테이션 손실 또는 세그멘테이션 레이어를 제거하면 ROUGE 점수에 급격한 하락이 발생하여 통합 훈련의 유용성을 입증한다.
• 세그멘테이션 작업에서 SegUniLM는 가장 낮은 단어 이동(Word Displacement, WD)과 페어웨이즈 F1(Pairwise F1, PK) 점수를 기록하여 뛰어난 섹션 경계 탐지 능력을 보였다.
• 모델는 BART, GPT, UniLM 등 다양한 사전 학습된 모델에 쉽게 적용 가능하며, 아키텍처 변경 없이도 우수한 일반화 성능을 보였다.