[논문 리뷰] Neural Summarization by Extracting Sentences and Words

Jianpeng Cheng, Mirella Lapata|arXiv (Cornell University)|2016. 03. 23.

Topic Modeling참고 문헌 34인용 수 128

한 줄 요약

이 논문은 신경망과 계층적 표현을 활용하여 단일 문서 요약을 수행하는 데이터 기반의 인코더–익스트랙터 프레임워크를 제시하며, 대규모 DailyMail 파생 데이터셋에서 학습된 문장이나 단어를 추출할 수 있다.

ABSTRACT

Traditional approaches to extractive summarization rely heavily on human-engineered features. In this work we propose a data-driven approach based on neural networks and continuous sentence features. We develop a general framework for single-document summarization composed of a hierarchical document encoder and an attention-based extractor. This architecture allows us to develop different classes of summarization models which can extract sentences or words. We train our models on large scale corpora containing hundreds of thousands of document-summary pairs. Experimental results on two summarization datasets demonstrate that our models obtain results comparable to the state of the art without any access to linguistic annotation.

연구 동기 및 목표

• 수작업으로 설계된 특징 없이 데이터 기반의 추출적 요약을 동기 부여한다.
• 문서에 대한 계층적 신경망 인코더와 문장 또는 단어를 위한 어텐션 기반 익스트랙터를 제안한다.
• 신경망 기반의 추출 요약과 추출-생성 요약이 표준 벤치마크에서 최첨단 시스템과 일치하거나 근접할 수 있음을 보인다.
• 일일 메일(DailyMail) 하이라이트에서 파생된 대규모 자동 라벨링 데이터셋으로의 학습을 보여준다.

제안 방법

• 계층적 문서 리더를 사용한다: 문장 벡터를 생성하기 위한 최댓값 풀링이 있는 컨볼루션 문장 인코더와 문장 벡터 위의 LSTM 기반 문서 인코더를 따른다.
• 인코더 및 익스트랙터의 히든 상태를 사용한 어텐션 기반 문장 라벨링을 도입하고, 학습-테스트 불일치를 완화하기 위해 커리큘럼 학습을 적용한 문장 익스트랙터를 도입한다.
• 문서에서 추출된 제한된 어휘를 대상으로 생성하는 단어 익스트랙터를 개발하고, 입력 콘텐츠로부터 다음 단어를 선택하기 위해 계층적 어텐션을 사용한다.
• DailyMail에서 두 가지 대규모 데이터셋을 학습한다: 하이라이트와의 중복이 높은 문장을 라벨링하여 문장 추출 데이터셋을 만들고, 하이라이트 단어를 기사 내용과 매칭하여 어휘 범위를 제한한 단어 추출 데이터셋을 만든다(미외 용어에 대한 치환 포함).
• DUC-2002 및 DailyMail 테스트 세트에서 ROUGE로 평가하고 인간 판단을 추가로 수행하며, 기본선(lead, logistic regression, ILP, tgraph, urank) 및 추상적 Baseline과 비교한다.

실험 결과

연구 질문

• RQ1 언어적 주석 없이도 신경망 인코더–익스트랙터 아키텍처가 문장 단위의 추출 요약을 효과적으로 수행할 수 있는가?
• RQ2 문서 어휘에 제한된 생성형 디코더를 사용하여 단어 수준의 추출로 확장할 수 있는가?
• RQ3 표준 벤치마크에서 신경문장 추출 및 단어 추출 모델이 전통적 특징 기반 및 그래프/ILP 기반 방법과 어떻게 비교되는가?
• RQ4 훈련 데이터의 규모와 품질(대규모 DailyMail 파생 말뭉치)이 소규모 주석 데이터셋에 비해 성능에 미치는 영향은 무엇인가?
• RQ5 계층적 표현(문장 CNN 인코더 + 문서 수준 RNN)이 중요도 탐지 및 요약의 일관성을 향상시키는가?

주요 결과

• 문장 추출 모델 nn-se는 DUC-2002에서 경쟁력 있는 Rouge 점수를 달성하며, 여러 기저모델보다 우수하고 언어적 특징 없이도 최첨단에 근접합니다.
• 단어 추출 모델 nn-we는 추상적 Baseline을 지속적으로 능가하고, 소스 문서에서 그대로 단어를 복사하는 방식으로 고유명사 및 드문 단어에 대해 견고함을 보입니다.
• 두 신경 익스트랙터(nn-se 및 nn-we)는 일반적으로 DUC-2002에서 강한 baselines(lead, lreg, ilp, tgraph, urank)보다 우수하거나 근접한 성능을 보이며, DailyMail에서 nn-se가 Rouge 지표 전반에서 가장 강합니다.
• 인간 평가에서 nn-se가 상위에 근접하며, 리드 및 여러 baselines에 비해 상당한 선호도가 나타나고 인간 골드 스탠더드에 근접합니다.
• 오픈 어휘 추상 모델 nn-abs는 제한 어휘 추출 모델 nn-we보다 성능이 떨어지는 경향이 있어 정확성과 응집력 측면에서 제한된 어휘 추출의 이점을 강조합니다.