[논문 리뷰] What comes next? Extractive summarization by next-sentence prediction

Jingyun Liu, Jackie Chi Kit Cheung외 1명|arXiv (Cornell University)|2019. 01. 12.

Topic Modeling참고 문헌 27인용 수 12

한 줄 요약

이 논문은 다음 문장을 요약에 포함할지 예측하기 위해 소스 기사와 이전에 선택된 요약 문장들을 모두 사용하는 새로운 추출 요약 모델인 NextSum을 제안한다. 요약 전용의 논리적 전환을 모델링함으로써 NextSum은 명시적 길이 제약 조건이나 중복 제거 없이도 최신 기준 ROUGE-2 F-점수를 달성하며, 인간이 작성한 요약과 강하게 상관관계가 있는 요약 길이를 예측한다.

ABSTRACT

Existing approaches to automatic summarization assume that a length limit for the summary is given, and view content selection as an optimization problem to maximize informativeness and minimize redundancy within this budget. This framework ignores the fact that human-written summaries have rich internal structure which can be exploited to train a summarization system. We present NEXTSUM, a novel approach to summarization based on a model that predicts the next sentence to include in the summary using not only the source article, but also the summary produced so far. We show that such a model successfully captures summary-specific discourse moves, and leads to better content selection performance, in addition to automatically predicting how long the target summary should be. We perform experiments on the New York Times Annotated Corpus of summaries, where NEXTSUM outperforms lead and content-model summarization baselines by significant margins. We also show that the lengths of summaries produced by our system correlates with the lengths of the human-written gold standards.

연구 동기 및 목표

• 인간이 작성한 요약의 풍부한 내부 구조를 모델링하여 고정 길이 요약의 한계를 해결하기 위해.
• 요약 내 도메인 특화된 논리적 전환 패턴을 학습함으로써 콘텐츠 선택과 중복 감소를 향상시키기 위해.
• 요약을 끝내야 할 시점을 모델이 예측할 수 있도록 함으로써 명시적 길이 제약 조건이나 중복 검사가 필요 없도록 하기 위해.
• 콘텐츠 선택, 중복 제어, 길이 예측을 동시에 수행하는 통합 모델을 개발하기 위해.

제안 방법

• NextSum은 소스 기사의 특징과 현재 요약 상태의 특징을 기반으로 다음 문장을 예측하기 위해 피드포워드 신경망을 사용한다.
• 모델은 소스 문장의 중요도, 주제의 일반성, 현재 요약이 소스 문서를 얼마나 커버하고 있는지 등의 특징을 포함한다.
• 다음 문장 예측을 대체 작업으로 활용하여 요약 전용 논리적 전환, 예를 들어 주제 확장 또는 새로운 주제 도입 등을 학습한다.
• 모델이 종료를 예측할 때까지 반복적으로 다음 문장을 예측함으로써 전체 요약을 생성한다.
• 이 방법은 뉴욕 타임스 애너테이티드 코퍼스를 사용해 훈련되었으며, 전쟁 범죄, 암살, 폭탄 등의 이벤트 중심 뉴스 주제를 다룬다.
• 일반 도메인 버전도 여러 이벤트 유형에 걸쳐 훈련되어 일반화 능력을 향상시켰다.

실험 결과

연구 질문

• RQ1 다음 문장 예측 모델이 콘텐츠 선택을 향상시키기 위해 요약 전용 논리적 전환 구조를 효과적으로 포착할 수 있는가?
• RQ2 명시적 길이 제약 조건 없이도 이러한 모델이 요약 길이를 자동으로 예측할 수 있는가?
• RQ3 길이가 제공되지 않은 상황에서 리드 베이스라인 및 콘텐츠 모델 베이스라인과의 성능 비교는 어떻게 되는가?
• RQ4 모델이 예측한 요약 길이가 인간이 작성한 요약 길이와 상관관계가 있는가?
• RQ5 세부 조정 없이 다양한 뉴스 이벤트 유형 간에 일반화가 가능한가?

주요 결과

• NextSum은 모든 도메인에서 리드 베이스라인과 콘텐츠 모델 베이스라인을 초월하여 ROUGE-2 F-점수를 확보했으며, 범죄 도메인에서 28.1, 암살 도메인에서 24.1의 점수를 기록했다.
• 혼합 도메인에서 NextSum은 28.1의 ROUGE-2 F-점수를 기록했으며, 도메인 일반 모델(22.5)과 올라인 베이스라인(36.3)에 비해 상대적 성능에서 뛰어난 성능을 보였다.
• 모델이 예측한 요약 길이와 인간이 작성한 요약 길이 간 상관관계는 범죄 도메인에서 페어슨 상관계수 0.46, 폭탄 도메인에서 0.28을 기록했다.
• 고정 길이 제약 조건이 없는 NextSum(NextSum)이 고정 길이 제약 조건이 있는 NextSum L보다 성능이 뛰어나, 자동 길이 예측이 성능 향상에 기여함을 시사한다.
• 모델은 주제 확장이나 새로운 주제 도입과 같은 논리적 전환을 성공적으로 학습했으며, 정성적 예시를 통해 이를 확인할 수 있었다.
• 소스 기사가 짧고 요약 길이가 일관된 도메인에서 성능이 가장 뛰어나며, 더 긴 폭탄 도메인에서는 상관관계가 낮았다.