[논문 리뷰] BASS: Boosting Abstractive Summarization with Unified Semantic Graph

Wenhao Wu, Wei Li외 6명|arXiv (Cornell University)|2021. 05. 25.

Topic Modeling참고 문헌 52인용 수 4

한 줄 요약

이 논문은 장문의 다중 문서 입력을 위한 개괄적 요약을 향상시키기 위해 장거리 의존성과 전반적인 구조를 모델링하기 위해 통합된 의미적 그래프를 구성하는 그래프 기반 프레임워크 BASS를 제안한다. 핵심 참조 해결 및 문단 수준의 관계를 그래프 인코더와 디코더의 그래프 전파 어텐션에 통합함으로써 BASS는 내용 선택과 일관성 면에서 크게 향상되며, BIGPATENT 및 WikiSUM 데이터셋에서 강력한 베이스라인을 능가하는 최신 기술 수준의 ROUGE 점수와 인간 평가 결과를 기록한다.

ABSTRACT

Abstractive summarization for long-document or multi-document remains challenging for the Seq2Seq architecture, as Seq2Seq is not good at analyzing long-distance relations in text. In this paper, we present BASS, a novel framework for Boosting Abstractive Summarization based on a unified Semantic graph, which aggregates co-referent phrases distributing across a long range of context and conveys rich relations between phrases. Further, a graph-based encoder-decoder model is proposed to improve both the document representation and summary generation process by leveraging the graph structure. Specifically, several graph augmentation methods are designed to encode both the explicit and implicit relations in the text while the graph-propagation attention mechanism is developed in the decoder to select salient content into the summary. Empirical results show that the proposed architecture brings substantial improvements for both long-document and multi-document summarization tasks.

연구 동기 및 목표

• 장문 및 다중 문서 요약에서 장거리 관계 모델링이 열악한 Seq2Seq 모델의 한계를 해결하기 위해.
• 핵심 참조 관계와 전반적인 구조를 포괄하는 통합된 의미적 그래프를 활용하여 문서 표현과 요약 생성을 향상시키기 위해.
• 그래프 기반 인코딩 및 디코딩 메커니즘을 통해 요약 생성의 내용 선택과 일관성을 향상시키기 위해.
• 자동 평가 및 인간 평가를 통해 복잡한 요약 시나리오에서 통합된 의미적 그래프의 효과성을 검증하기 위해.

제안 방법

• 의존성 분석과 핵심 참조 해결을 사용하여 문단 수준의 통합된 의미적 그래프를 구성하여 장기간의 맥락에서 공참조 문장을 집계한다.
• 그래프 증강 기법을 적용하여 문장 간의 명시적 및 암시적 의미 관계를 인코딩한다.
• 문장 간 관계를 모델링하여 문서 표현을 향상시키기 위해 의미적 그래프를 활용하는 그래프 인코더를 설계한다.
• 요약 생성을 위해 중요한 그래프 기반 콘텐츠를 선택하도록 도와주는 그래프 전파 어텐션 메커니즘을 디코더에 도입한다.
• 인코더와 디코더 양쪽에 그래프 구조를 통합하여 생성된 요약의 전반적 맥락 이해와 일관성을 향상시킨다.
• 사전 학습된 언어 모델을 백본으로 사용하면서도 그래프 기반의 인덕티브 바이어스를 추가하여 요약 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합된 의미적 그래프가 장문 및 다중 문서 입력에서 요약 생성을 위한 장거리 의존성과 전반적 구조를 효과적으로 모델링할 수 있는가?
• RQ2 기존의 Seq2Seq 또는 문장 수준의 그래프 모델에 비해 그래프 기반 인코딩이 문서 표현을 얼마나 향상시키는가?
• RQ3 디코더에서의 그래프 전파 어텐션 메커니즘이 중요한 콘텐츠 선택과 요약의 일관성을 얼마나 향상시키는가?
• RQ4 제안된 프레임워크가 장문 및 다중 문서 요약에서 자동 평가 및 인간 평가 모두에서 강력한 베이스라인을 능가하는가?
• RQ5 표준 모델의 맥락 한계를 초월할 때 입력 길이가 증가함에 따라 모델의 성능 유지 능력은 어떠한가?

주요 결과

• BASS는 BIGPATENT 장문 요약 데이터셋에서 최신 기술 수준의 성능을 기록하며, 입력 길이가 최대 3000 토큰까지 증가할수록 ROUGE-1 점수에서 뚜렷한 향상을 보였다.
• WikiSUM 다중 문서 요약 데이터셋에서 BASS는 RoBERTaS2S 및 GraphSum과 같은 강력한 베이스라인을 자동 평가 및 인간 평가 모두에서 능가했다.
• 인간 평가 결과 BASS는 더 유창하고 간결하며 정보량이 풍부한 요약을 생성했으며, GraphSum의 0.58과 RoBERTaS2S의 0.48에 비해 1.18의 평가 점수를 기록했다.
• 이전 모델보다 더 높은 평균의 새로운 n-그램 수를 기록함으로써 BASS는 더 강력한 개괄적 요약 능력을 보였다.
• GraphSum과 달리 BASS는 극단적인 입력 길이에서도 성능 향상을 유지했으며, 3000 토큰을 초월해도 성능 저하가 발생하지 않았다.
• 그래프 전파 어텐션 메커니즘이 효과적으로 콘텐츠 선택을 이끌어내어 요약의 환상성 감소와 일관성 향상에 기여했다.