[논문 리뷰] Salience Allocation as Guidance for Abstractive Summarization

Fei Wang, Kaiqiang Song외 7명|arXiv (Cornell University)|2022. 10. 22.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 문단 내 각 문장의 중요도를 추정하는 '채널 할당(saliency allocation)'을 사용하는 새로운 개괄 요약 프레임워크인 Season을 제안한다. 이는 요약 모델에 대해 민첩하고 유연한 지침을 제공한다. Salience-aware cross-attention를 통합하고, salience 점수의 기대값을 활용함으로써, 여러 벤치마크에서 성능 향상을 이룩하였으며, CNNDM에서 ROUGE-1/2/L 기준 +2.06/1.41/1.91 향상, Newsroom에서는 +0.33/0.32/0.60 향상되었고, 뉴스 기사에서 자연스러운 15-50%의 salience 분할을 드러냈다.

ABSTRACT

Abstractive summarization models typically learn to capture the salient information from scratch implicitly. Recent literature adds extractive summaries as guidance for abstractive summarization models to provide hints of salient content and achieves better performance. However, extractive summaries as guidance could be over strict, leading to information loss or noisy signals. Furthermore, it cannot easily adapt to documents with various abstractiveness. As the number and allocation of salience content pieces vary, it is hard to find a fixed threshold deciding which content should be included in the guidance. In this paper, we propose a novel summarization approach with a flexible and reliable salience guidance, namely SEASON (SaliencE Allocation as Guidance for Abstractive SummarizatiON). SEASON utilizes the allocation of salience expectation to guide abstractive summarization and adapts well to articles in different abstractiveness. Automatic and human evaluations on two benchmark datasets show that the proposed method is effective and reliable. Empirical results on more than one million news articles demonstrate a natural fifteen-fifty salience split for news article sentences, providing a useful insight for composing news articles.

연구 동기 및 목표

• 추상적 요약에서 추출 기반 요약의 고정적이고 노이즈가 많고 비민첩한 지침으로서의 한계를 해결하기 위해.
• 다양한 추상성 수준을 가진 문서에 적응할 수 있는 더 민첩하고 신뢰할 수 있는 salience 지침 메커니즘을 개발하기 위해.
• 디코더 어텐션 메커니즘에 salience 기대값을 통합하여 추상적 요약 성능을 향상시키기 위해.
• 100만 개 이상의 기사로 구성된 대규모 데이터셋을 활용해 뉴스 기사에서 salience의 자연스러운 분포를 실증적으로 조사하기 위해.

제안 방법

• 지식 기반 요약과의 유사도를 기반으로 각 문장의 salience를 추정하기 위해 인코더 위에 선형 분류기를 훈련한다.
• 문서 집합 통계를 기반으로 임계값을 설정하여 salience 점수를 이산적인 수준으로 매핑함으로써 정보성과 정확성의 균형을 확보한다.
• Salience-Aware Cross-Attention(SACA)는 디코더가 salience 지도된 인코더 상태에 얼마나 많은 주의를 기울일지 동적으로 제어한다.
• 훈련 중 인접한 salience 수준 간에 label smoothing을 적용하여 모델의 강건성을 향상시킨다.
• 분포의 신뢰도를 제어하기 위해 날카기 계수 τ를 사용하여 salience 확률의 기대값을 더 안정적이고 신뢰할 수 있는 salience 추정치로 사용한다.
• 최대 우도 추정을 사용하여 BART 기반 모델에서 평가되었으며, 다른 백본과 목표 함수와도 호환된다.

실험 결과

연구 질문

• RQ1 Saliency 할당이 추상적 요약에서 추출 기반 요약의 더 민감하고 안정적인 대안으로 기능할 수 있는가?
• RQ2 Saliency 인식 cross-attention는 다양한 추상성 수준을 가진 문서에서 요약 성능을 어떻게 향상시키는가?
• RQ3 뉴스 기사에서 salience의 자연스러운 분포는 무엇이며, 대규모 데이터셋에서 일관된 패턴을 따르는가?
• RQ4 Label smoothing과 salience 기대값은 모델의 강건성과 일반화 능력을 어떻게 향상시키는가?

주요 결과

• Season은 CNNDM 데이터셋에서 BART에 비해 ROUGE-1/2/L 기준 2.06/1.41/1.91 향상되며, 자동 평가에서 뚜렷한 향상을 보였다.
• Newsroom 데이터셋에서는 ROUGE-1/2/L 기준 0.33/0.32/0.60 점 향상되어 다양한 환경에서의 효과성을 확인했다.
• 인간 평가 결과, 특히 복잡하거나 모호한 문서를 다룰 때 기존 모델 대비 더 정확하고 논리적인 요약을 생성함을 확인했다.
• 100만 개 이상의 뉴스 기사에 대한 실증 분석을 통해 약 15%의 문장이 매우 중요도가 높고, 약 50%가 중간에서 매우 중요도가 높은 자연스러운 15-50%의 salience 분할 패턴을 규명했으며, 기사 구성에 대한 통찰을 제공했다.
• 최적의 날카기 계수(τ=0.5)를 사용한 salience 기대값 활용으로 ROUGE-1 점수는 0.50점 향상되어 정교한 확률 校정의 이점을 입증했다.
• 사례 연구를 통해 Season은 요약이 간결한 문서뿐 아니라 정보가 풍부한 문서에도 잘 적응하여, 추출 기반 지도 모델보다 과다 생성을 방지하고 핵심 사실을 더 잘 유지함을 입증했다.