[논문 리뷰] Outline Generation: Understanding the Inherent Content Structure of Documents

Ruqing Zhang, Jiafeng Guo외 3명|arXiv (Cornell University)|2019. 05. 24.

Topic Modeling참고 문헌 35인용 수 5

한 줄 요약

이 논문은 문서의 본질적 내용 구조를 드러내기 위해 단락을 식별하고 일관되고 일관된 제목을 생성함으로써 구조적 요약의 새로운 과제인 개요 생성(OG)을 제안한다. 저자들은 마르코프 단락 및 제목 의존성, 섹션 인식 주의, 검토 기반 메커니즘을 사용하여 문단, 섹션 제목, 제목 간의 3단계 일관성을 포착하는 계층적 신경 모델인 HiStGen을 제안하며, 175만 개의 문서-개요 쌍을 포함하는 새로운 벤치마크 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

In this paper, we introduce and tackle the Outline Generation (OG) task, which aims to unveil the inherent content structure of a multi-paragraph document by identifying its potential sections and generating the corresponding section headings. Without loss of generality, the OG task can be viewed as a novel structured summarization task. To generate a sound outline, an ideal OG model should be able to capture three levels of coherence, namely the coherence between context paragraphs, that between a section and its heading, and that between context headings. The first one is the foundation for section identification, while the latter two are critical for consistent heading generation. In this work, we formulate the OG task as a hierarchical structured prediction problem, i.e., to first predict a sequence of section boundaries and then a sequence of section headings accordingly. We propose a novel hierarchical structured neural generation model, named HiStGen, for the task. Our model attempts to capture the three-level coherence via the following ways. First, we introduce a Markov paragraph dependency mechanism between context paragraphs for section identification. Second, we employ a section-aware attention mechanism to ensure the semantic coherence between a section and its heading. Finally, we leverage a Markov heading dependency mechanism and a review mechanism between context headings to improve the consistency and eliminate duplication between section headings. Besides, we build a novel WIKIOG dataset, a public collection which consists of over 1.75 million document-outline pairs for research on the OG task. Experimental results on our benchmark dataset demonstrate that our model can significantly outperform several state-of-the-art sequential generation models for the OG task.

연구 동기 및 목표

• 다중 단락 문서에서 자연스러운 섹션 경계를 식별하고, 제목 생성을 통해 세분화된 문서 이해의 과제를 해결하기 위해.
• 개요 생성을 계층적 구조 예측 문제로 재정의하여, 일관된 세분화와 일관되고 스타일이 일치하는 제목 생성을 요구하기 위해.
• 문단 수준(섹션 경계), 섹션-제목 수준(의미적 일치), 제목-제목 수준(일관성 및 중복 방지)의 3단계 일관성을 포착하는 모델을 개발하기 위해.
• 학습 및 평가를 위해 사용할 수 있는 175만 개 이상의 문서-개요 쌍을 포함하는 새로운 벤치마크 데이터셋인 WIKI OG를 구축하기 위해.

제안 방법

• OG를 두 단계로 나누어 계층적 구조 예측 문제로 설정: 첫 번째로 마르코프 단락 의존성 기반으로 섹션 경계를 예측하고, 두 번째로 섹션 인식 주의를 사용하여 제목을 생성한다.
• 연속된 제목 간의 순차적 의존성을 모델링하기 위해 마르코프 제목 의존성 기반 메커니즘을 도입하여 일관성 향상.
• 생성된 제목을 이전에 생성된 제목과 비교하여 중복을 탐지하고 방지하는 검토 기반 메커니즘을 구현.
• 각 섹션의 내용과 해당 섹션의 제목 간의 의미적 관련성을 보장하기 위해 섹션 인식 주의를 구현.
• 경계 예측에 교차 엔트로피 손실, 제목 생성에 시퀀스 생성 손실을 사용하여 엔드 투 엔드 모델을 훈련.
• 학습 및 평가를 위해 대규모이고 공개된 위키백과 기사와 그 개요가 쌍으로 구성된 WIKI OG 데이터셋을 활용.

실험 결과

연구 질문

• RQ1 신경 모델은 다중 단락 문서에서 자연스러운 섹션 경계를 효과적으로 식별할 수 있는가?
• RQ2 내용과 의미적으로 일관되며 이웃 제목들과 스타일이 일치하는 섹션 제목은 어떻게 생성할 수 있는가?
• RQ3 생성된 섹션 제목의 일관성 향상과 중복 감소를 위한 메커니즘은 무엇인가?
• RQ4 문단, 제목, 제목 간의 계층적 일관성 모델링은 개요 생성 성능 향상에 어느 정도 기여하는가?

주요 결과

• HiStGen은 강력한 베이스라인 모델인 Hier 및 GHD보다 섹션 경계 예측과 제목 생성 모두에서 뚜렷한 성능 향상을 보이며, 경계 검출의 F1 점수에서 최대 3.5% 향상.
• 마르코프 제목 의존성 기반 메커니즘(Hier MHD)은 독립적 또는 전역 의존성 모델보다 제목 생성 성능을 향상시켜 局부 의존성이 전역 의존성보다 더 효과적임을 입증.
• 검토 기반 메커니즘(Hier MHD+RE)은 제목 품질을 추가로 향상시켜 반복을 줄이고 일관성을 개선하며, 음악 분야에서 Hier MHD 대비 Rouge-1 점수 0.47 포인트 향상.
• 사례 연구 결과, HiStGen은 올바르게 섹션 경계를 식별하고 반복적이거나 일관성 없는 제목을 방지하는 반면, 베이스라인 모델(IG_CRF+Hier)은 과다 세분화 및 중복 제목 생성을 보였다.
• 위키백과 기사 및 연구 논문을 포함한 다양한 문서 유형에서 뛰어난 견고성을 보이며, 모든 테스트 도메인에서 일관된 성능 향상을 보였다.
• 모든 성능 향상은 통계적으로 유의미하며(p < 0.01), 제안된 일관성 모델링 구성 요소의 효과성을 입증하였다.