[논문 리뷰] Neural Extractive Text Summarization with Syntactic Compression

Jiacheng Xu, Greg Durrett|arXiv (Cornell University)|2019. 02. 03.

Topic Modeling참고 문헌 44인용 수 27

한 줄 요약

이 논문은 문장 선택과 문법적 압축을 함께 학습하는 신경망 추출 요약 모델을 제안한다. 구성문 분석을 사용하여 간결하고 문법적으로 올바른 요약을 생성한다. 오라클 추출-압축 요약을 통해 훈련함으로써, CNN/Daily Mail에서 추출 기반 모델 대비 2.4 ROUGE-F1 향상으로 최신 기준 성능을 달성하며, 더 나은 유창성과 제어 가능한 압축을 입증한다.

ABSTRACT

Recent neural network approaches to summarization are largely either selection-based extraction or generation-based abstraction. In this work, we present a neural model for single-document summarization based on joint extraction and syntactic compression. Our model chooses sentences from the document, identifies possible compressions based on constituency parses, and scores those compressions with a neural model to produce the final summary. For learning, we construct oracle extractive-compressive summaries, then learn both of our components jointly with this supervision. Experimental results on the CNN/Daily Mail and New York Times datasets show that our model achieves strong performance (comparable to state-of-the-art systems) as evaluated by ROUGE. Moreover, our approach outperforms an off-the-shelf compression module, and human and manual evaluation shows that our model's output generally remains grammatical.

연구 동기 및 목표

• 추출 요약과 문법 기반 문장 압축을 통합한 신경망 모델을 개발하여 요약 품질과 해석 가능성 향상.
• 빔 서치와 히우리스틱 보완을 사용해 고품질의 오라클 추출-압축 요약을 구축함으로써, 공동 추출-압축 모델을 훈련하는 데 도전 과제 해결.
• 조절 가능한 임계값을 통해 압축을 제어할 수 있도록 하여, ROUGE 성능을 희생시키지 않고도 다양한 길이의 요약 생성 가능.
• 구성문 분석에서 유도된 이산적이고 문법 기반의 압축 옵션을 통해 압축 요약의 문법성과 유창성 향상.
• 추출과 압축의 공동 학습이 추출 기반 모델과 오프 더 셰프 압축 모듈보다 우수한 성능을 내는지 입증.

제안 방법

• 문서 문장을 인코딩하기 위해 BiLSTM을 사용하고, 문서 수준의 표현을 생성한 후, 포인터 네트워크와 유사한 주의 기반 LSTM 디코더를 사용해 문장 선택.
• 선택된 각 문장에 대해 문법적 구성 분석 기반으로 이산적인 압축 옵션 세트를 생성하며, 어미, 관계절, 부사어 구문, 괄호어를 제거하는 규칙을 적용하면서 문법성을 유지.
• 문맥, 문장 표현, 디코더 상태를 기반으로 신경망 스코링 메커니즘이 각 압축 옵션을 평가하고 최적의 압축 버전을 선택.
• 빔 서치와 히우리스틱 보완을 통해 유도된 오라클 요약을 사용해 추출과 압축을 공동 최적화하는 훈련 목표 설정.
• 특히 시간적 및 위치 부사어를 포함한 중복을 줄이기 위해 압축에 대한 중복 제거 메커니즘 도입으로 효율성 향상 및 노이즈 감소.
• 추출 및 압축 지도 학습을 통합한 종합 목표를 통해 엔드 투 엔드로 훈련하여, 언제 그리고 어떻게 압축할지 학습 가능.

실험 결과

연구 질문

• RQ1 추출 및 압축 구성 요소를 공동으로 훈련하면 추출 전용 모델 대비 요약 성능 향상이 가능한가?
• RQ2 이산적 선택지를 갖는 문법 기반 압축은 종단 간 신경망 압축보다 더 문법적이고 자연스러운 요약을 생성하는가?
• RQ3 모델의 성능은 다양한 압축 임계값(0.3에서 0.55)에 대해 얼마나 견고하며, 길이를 제어 가능하게 작동하는가?
• RQ4 구성문 분석에서 유도된 압축 규칙는 오프 더 셰프 압축 모듈 대비 요약 품질 향상에 얼마나 기여하는가?
• RQ5 인간 평가자들은 모델의 압축 출력의 문법성과 유창성에 대해 어떻게 평가하는가?

주요 결과

• CNN/Daily Mail 및 New York Times 데이터셋에서 최신 기준 성능 달성하며, 추출 기반 기준 대비 2.4 ROUGE-F1 포인트 향상.
• 압축 임계값(0.3에서 0.55)의 넓은 범위에서 우수한 성능 유지하여 요약 길이의 제어 가능성과 견고성 입증.
• 인간 평가 결과, 모델 출력은 일반적으로 문법적으로 정확하며, 대부분의 오류는 파서의 한계에서 기인하고 모델의 압축 결정에서 기인하지 않음.
• 오프 더 셰프 압축 모듈을 능가하여, 추출 지도 학습과의 공동 훈련의 유용성 입증.
• 압축은 주로 PP(26%) 및 JJ(34%) 구성요소에 적용되며, 정확도는 JJ의 경우 72%, PRN의 경우 80%로 높아 규칙 기반 압축 선택의 효과성 입증.
• 중복 제거로 선택된 압축의 30% 제거(특히 PP), 중복 감소 및 효율성 향상, ROUGE 점수 저하 없이 구현.