[논문 리뷰] Learning-Based Single-Document Summarization with Compression and Anaphoricity Constraints

Greg Durrett, Taylor Berg-Kirkpatrick외 1명|arXiv (Cornell University)|2016. 03. 29.

Topic Modeling참고 문헌 47인용 수 32

한 줄 요약

이 논문은 문법적 잘 맞는 표현과 논리적 흐름을 고려한 단일 문서 개선 요약을 위한 분류적이고 종단간(end-to-end) 학습 모델을 제안한다. 문맥적 암시적 언급 해결과 함께 문법적 구조와 논리적 흐름 수준의 압축 제약 조건을 통합하여 유창성과 통일성을 향상시킨다. 뉴욕 타임스 주석 부착 코퍼스(NYT Annotated Corpus)에서 ILP 기반 추론을 사용해 ROUGE 점수와 언어적 품질을 동시에 최적화함으로써, 자동 평가와 인간 평가 모두에서 강력한 기준 모델을 능가하며, 내용 커버리지 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a discriminative model for single-document summarization that integrally combines compression and anaphoricity constraints. Our model selects textual units to include in the summary based on a rich set of sparse features whose weights are learned on a large corpus. We allow for the deletion of content within a sentence when that deletion is licensed by compression rules; in our framework, these are implemented as dependencies between subsentential units of text. Anaphoricity constraints then improve cross-sentence coherence by guaranteeing that, for each pronoun included in the summary, the pronoun's antecedent is included as well or the pronoun is rewritten as a full mention. When trained end-to-end, our final system outperforms prior work on both ROUGE as well as on human judgments of linguistic quality.

연구 동기 및 목표

• 단일 문서 요약은 문서 간 冗잔스가 없고 다중 문서 요약보다 더 모델링하기 어려운 도전 과제를 해결하기 위해.
• 문법적 잘 맞는 표현을 위해 문법적 구조와 논리적 흐름의 구조 제약 조건을 통해 요약의 유창성과 통일성을 향상시키기 위해.
• 대명사가 동일 참조어를 가지거나 전체 명사구로 재작성되도록 보장하여 참조 명확성을 향상시키기 위해.
• 내용 선택, 압축, 암시적 언급 해결을 동시에 최적화하는 고용량의 종단간 학습 가능한 모델을 개발하기 위해.
• 자동 평가(ROUGE)와 인간 평가를 통해 언어적 품질을 평가하여 히우리스틱적 및 이전의 학습 기반 기준 모델보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 모델은 학습된 희박 특징을 기반으로 전체 문장에서 하위 문장 구조에 이르기까지 텍스트 단위를 선택하기 위해 정수선형계획(ILP) 프레임워크를 사용한다.
• 압축은 문장 단위 간의 의존성 관계를 통해 문법적 구조와 논리적 구조 이론(Rhetorical Structure Theory, RST) 분석을 이용하여 비필수 절(예: 설명 또는 수식어)을 삭제함으로써 강제한다.
• 암시적 언급 제약 조건은 이진 변수를 사용하여 대명사가 유지될지 또는 전체 명사구로 재작성될지 제어함으로써, 전행어가 포함되도록 보장한다.
• 종단간 특징 학습을 통해 뉴욕 타임스 주석 부착 코퍼스를 기반으로 ROUGE와 언어적 품질을 동시에 최적화한다.
• 문법적 분석, RST 분석, 공통참조 해결에서 유래한 제약 조건을 통합하여 문법적 타당성과 통일성을 확보한다.
• ILP를 효율적으로 사용하여 추론을 수행함으로써 내용 커버리지, 압축, 참조 명확성 간의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 압축과 암시적 언급 해결을 하나의 통합된 모델에서 효과적으로 통합하여 단일 문서 요약에서 ROUGE 점수와 언어적 품질을 향상시킬 수 있는가?
• RQ2 대규모 코퍼스에서 종단간 학습이 히우리스틱적 또는 규칙 기반 접근 방식보다 내용 선택과 유창성 측면에서 어떻게 비교되는가?
• RQ3 문법적 및 논리적 흐름 수준의 압축 제약 조건이 내용 커버리지를 희생시키지 않고 문법적 타당성을 얼마나 향상시키는가?
• RQ4 전행어 포함 또는 재작성으로 인한 암시적 언급 해결을 통해 자유로운 대명사 사용보다 더 통일성 있는 요약을 도출할 수 있는가?
• RQ5 모델의 성능은 대규모 및 소규모 데이터셋 등 다양한 평가 환경에서 어떻게 변화하는가?

주요 결과

• RST 논리적 흐름 트리뱅크에서 전체 시스템은 문장 접두어 기반 베이스라인과 바이그램 커버리지 기반 베이스라인보다 ROUGE-1(26.3 vs. 23.5)과 ROUGE-2(8.0 vs. 8.3)에서 뛰어난 성능을 보였다.
• 암시적 언급 제약 조건을 제거하면 ROUGE 점수는 약간 증가하지만 언어적 품질, 특히 대명사 명확성 측면에서 심각한 악화가 발생하여 통일성 제약 조건이 유창성 유지를 위해 필수적임을 시사한다.
• 구문적 및 논리적 흐름 압축을 모두 포함한 시스템은 이러한 구성 요소가 없는 실험 대비 훨씬 높은 ROUGE 점수를 기록하여, 압축의 유연성이 내용 커버리지를 향상시킨다는 것을 입증한다.
• NYT50 코퍼스에서 전체 시스템은 트리 컵슨백 메서드를 능가하며, 모든 기준 모델보다 내용 선택 측면에서 뛰어나면서 문장 추출 기반 모델의 언어적 품질에 가까이 다가섰다.
• 인간 평가 결과, 제약 조건이 없는 모델 대비 시스템은 모호한 대명사를 크게 줄였으며, 참조 명확성 측면에서 문장 추출 기반 모델에 가까운 성능을 보였다.
• 이 시스템은 http://nlp.cs.berkeley.edu 에 공개되어 있어 재현성과 향후 연구를 가능하게 한다.