[논문 리뷰] Discourse-Aware Neural Extractive Text Summarization

Jiacheng Xu, Zhe Gan외 2명|arXiv (Cornell University)|2019. 10. 30.

Topic Modeling참고 문헌 50인용 수 20

한 줄 요약

이 논문은 문단 수준의 논리적 관계를 고려한 추출적 텍스트 요약 모델인 DiscoBert를 제안한다. 이 모델은 문장 전체가 아니라 기본 논리 단위(EDU)를 선택 단위로 사용하여 부재를 줄이고 요약의 정보량을 향상시킨다. RST 및 공명 관계 논리 그래프를 구축하고 그래프 컬러리션 네트워크(GCN)로 인코딩함으로써, DiscoBert는 장거리 의존성을 포착하여 BERT-base 모델 대비 CNN/DM 및 XSum 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Recently BERT has been adopted for document encoding in state-of-the-art text summarization models. However, sentence-based extractive models often result in redundant or uninformative phrases in the extracted summaries. Also, long-range dependencies throughout a document are not well captured by BERT, which is pre-trained on sentence pairs instead of documents. To address these issues, we present a discourse-aware neural summarization model - DiscoBert. DiscoBert extracts sub-sentential discourse units (instead of sentences) as candidates for extractive selection on a finer granularity. To capture the long-range dependencies among discourse units, structural discourse graphs are constructed based on RST trees and coreference mentions, encoded with Graph Convolutional Networks. Experiments show that the proposed model outperforms state-of-the-art methods by a significant margin on popular summarization benchmarks compared to other BERT-base models.

연구 동기 및 목표

• 문장 수준의 추출적 요약에서의 부재와 장거리 의존성 모델링 부족 문제를 해결하기 위해.
• 전체 문장 대신 하위 문장 수준의 논리 단위(EDU)에서 작업하여 사실 일치성과 간결성을 향상시키기 위해.
• 특히 서사적 구조 이론(RST)과 공명 관계를 포함한 논리적 구조를 유도적 편향으로 활용하여 더 나은 문서 수준의 맥락 모델링을 위해.
• 논리적 그래프를 통합하여 BERT 기반 요약의 성능을 향상시키기 위해, 논리 단위 간 장거리 상호작용을 포착하는 그래프를 활용하기 위해.
• 엔드 투 엔드 신경망 프레임워크를 사용하여 표준 텍스트 요약 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 모델은 RST 기반 분할에서 유도된 논리 단위(EDU)를 BERT로 인코딩하여 문장 수준의 인코딩을 대체한다.
• 두 가지 논리 그래프를 구축한다: (1) EDU의 RST 파싱 트리에서 유도된 RST 그래프, (2) 문서 전반에 걸쳐 동일한 실체를 가리키는 언급을 연결하는 공명 그래프.
• 그래프 컬러리션 네트워크(GCN)를 두 논리 그래프에 적용하여 표현을 전파하고 EDU 간 장거리 의존성을 모델링한다.
• 선택된 EDU의 인코딩 표현 기반으로 상위 랭크된 EDU를 선택하여 추출적 요약을 수행하며, 문장 이하 수준의 선택으로 자연스럽게 압축이 이루어진다.
• 표준 BERT 기반 최적화를 사용하여 요약 데이터셋에서 엔드 투 엔드로 프inetuning한다.
• 논리 그래프는 사전 학습된 논리 파서와 공명 해결 도구를 사용하여 구축되며, 간선은 서사적 관계와 공명 체인에 의해 정의된다.

실험 결과

연구 질문

• RQ1 하위 문장 수준의 논리 단위(EDU)가 추출적 요약의 선택 기반으로 전체 문장보다 더 효과적인가?
• RQ2 논리 그래프(RST 및 공명)가 BERT 기반 요약에서 장거리 의존성 모델링에 얼마나 기여하는가?
• RQ3 GCN를 통한 논리 구조 통합이 더 간결하고, 더 적은 부재, 더 높은 정보량의 요약을 이끌어내는가?
• RQ4 제안된 모델은 표준 벤치마크에서 최고 성능을 내는 BERT 기반 추출적 모델과 비교해 어떻게 성과를 내는가?
• RQ5 논리 그래프 구축의 주요 실패 원인은 무엇이며, 요약 품질에 어떤 영향을 미치는가?

주요 결과

• DiscoBert는 CNN/DM 및 XSum 요약 벤치마크에서 다른 BERT-base 모델보다 더 높은 최고 성능을 달성하여 새로운 최고 기록을 수립했다.
• 선택 단위로 EDU를 사용함으로써 문장 수준 추출 대비 더 간결하고 부재가 줄어든 요약을 도출하였다.
• 논리 그래프 통합이 성능 향상에 크게 기여하여, 구조화된 논리 지식이 유도적 편향으로서의 가치를 입증하였다.
• 오류 분석 결과 성능 저하의 주요 원인은 RST 의존성 파싱 및 공명 해결 오류, 특히 지시어 해결에서 발생하는 것으로 밝혀졌다.
• 공통적인 오류로는 잘못된 구두점 사용, 따옴표 누락, 모호한 대명사(예: 명확한 전후접속이 없는 'he') 등이 있으며, 이는 통일성에 영향을 미친다.
• 모델은 뉴스 요약 및 장문 문서 요약 작업 전반에서 일관된 성능 향상을 보이며 도메인 변동에 대한 강건성을 입증하였다.