[논문 리뷰] StructSum: Incorporating Latent and Explicit Sentence Dependencies for Single Document Summarization.

Vidhisha Balachandran, Artidoro Pagnoni외 4명|arXiv (Cornell University)|2020. 03. 01.

Topic Modeling참고 문헌 29인용 수 6

한 줄 요약

이 논문은 구조 인식 인코더를 통해 문장 간 잠재적 의존 관계를 통합하고 문장 간 명시적 공명 그래프를 통합함으로써 요약 품질과 해석 가능성 향상을 위한 신경 추상적 요약 모델인 StructSum을 제안한다. CNN/DM 데이터셋에서 StructSum은 긴 문장 조각의 복사 수를 줄이고, 내용의 풍부함을 향상시키며, 요약 길이를 유지하면서도 추상화 수준을 높인다.

ABSTRACT

Traditional preneural approaches to single document summarization relied on modeling the intermediate structure of a document before generating the summary. In contrast, the current state of the art neural summarization models do not preserve any intermediate structure, resorting to encoding the document as a sequence of tokens. The goal of this work is two-fold: to improve the quality of generated summaries and to learn interpretable document representations for summarization. To this end, we propose incorporating latent and explicit sentence dependencies into single-document summarization models. We use structure-aware encoders to induce latent sentence relations, and inject explicit coreferring mention graph across sentences to incorporate explicit structure. On the CNN/DM dataset, our model outperforms standard baselines and provides intermediate latent structures for analysis. We present an extensive analysis of our summaries and show that modeling document structure reduces copying long sequences and incorporates richer content from the source document while maintaining comparable summary lengths and an increased degree of abstraction.

연구 동기 및 목표

• 문서 수준의 구조를 유지함으로써 신경 추상적 요약의 품질을 향상시키기 위해.
• 기본적인 문장 관계를 반영하는 해석 가능한 문서 표현을 학습하기 위해.
• 원본 문서에서 긴 스퍼브를 복사하는 데 의존도를 줄이기 위해.
• 요약 과정에 잠재적(암묵적) 및 명시적(공명 기반) 문장 의존성을 모두 통합하기 위해.
• 요약 길이를 유지하면서 추상화 수준과 내용 다양성을 높이기 위해.

제안 방법

• 문서 내 문장의 계층적이고 관계적인 구조를 모델링함으로써 잠재적 문장 관계를 유도하기 위해 구조 인식 인코더를 사용한다.
• 엔티티와 언급어 간의 문장 간 공명 링크를 표현하기 위해 명시적 공명 언급 그래프를 구축한다.
• 공명 그래프를 인코더에 통합하여 문장 표현에 명시적 문법적 및 의미적 의존성을 강화한다.
• 인코딩 단계에서 잠재적 및 명시적 구조를 통합하여 더 정보가 풍부한 맥락 표현을 생성한다.
• 추상적 요약을 위한 표준 시퀀스-투-시퀀스 목표 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 디코딩 단계에서 잠재적 구조 패턴과 명시적 공명 링크 양쪽 모두에 주의를 기울이는 어텐션 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 잠재적 문장 의존성을 모델링하면 신경 추상적 요약의 품질과 해석 가능성에 향상이 이루어지는가?
• RQ2 명시적 공명 그래프를 통합함으로써 원본 텍스트의 복사 비율은 어느 정도 감소하는가?
• RQ3 잠재적 및 명시적 구조를 통합함으로써 요약의 추상화 수준과 내용 커버리지에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 요약 길이를 유지하면서 내용의 풍부함과 다양성을 향상시키는가?
• RQ5 유도된 잠재적 구조는 의미적으로 분석되고 해석될 수 있는가?

주요 결과

• StructSum은 CNN/DM 데이터셋에서 표준 신경 기반 모델 대비 요약 품질에서 뛰어난 성능을 보였다.
• 기준 모델 대비 원본 문서에서 긴 텍스트 스퍼브를 복사하는 것을 줄였다.
• 비슷한 요약 길이를 유지하면서도 원본 문서의 더 풍부한 내용을 통합했다.
• 잠재적 및 명시적 문장 의존성의 통합은 생성된 요약의 추상화 수준을 높였다.
• 유도된 잠재적 구조는 해석 가능하며 문서 수준의 의존성에 대한 유의미한 통찰을 제공한다.
• 광범위한 분석을 통해 문서 구조를 모델링함으로써 내용의 다양성과 일관성이 향상됨을 확인했다.