[논문 리뷰] Query Focused Abstractive Summarization: Incorporating Query Relevance, Multi-Document Coverage, and Summary Length Constraints into seq2seq Models

Tal Baumel, Matan Eyal외 1명|arXiv (Cornell University)|2018. 01. 23.

Topic Modeling참고 문헌 18인용 수 67

한 줄 요약

본 논문은 사전 학습된 추상적 seq2seq 모델에 질의 관련성을 주입하여 질의 중심 다중 문서 요약을 수행하는 RSA-QFS를 제시한다. 반복적 다중 문서 접근법과 길이 적응을 사용하여 추가 학습 없이 추출 기반 baselines에 비해 경쟁력 있는 ROUGE 점수를 달성한다.

ABSTRACT

Query Focused Summarization (QFS) has been addressed mostly using extractive methods. Such methods, however, produce text which suffers from low coherence. We investigate how abstractive methods can be applied to QFS, to overcome such limitations. Recent developments in neural-attention based sequence-to-sequence models have led to state-of-the-art results on the task of abstractive generic single document summarization. Such models are trained in an end to end method on large amounts of training data. We address three aspects to make abstractive summarization applicable to QFS: (a)since there is no training data, we incorporate query relevance into a pre-trained abstractive model; (b) since existing abstractive models are trained in a single-document setting, we design an iterated method to embed abstractive models within the multi-document requirement of QFS; (c) the abstractive models we adapt are trained to generate text of specific length (about 100 words), while we aim at generating output of a different size (about 250 words); we design a way to adapt the target size of the generated summaries to a given size ratio. We compare our method (Relevance Sensitive Attention for QFS) to extractive baselines and with various ways to combine abstractive models on the DUC QFS datasets and demonstrate solid improvements on ROUGE performance.

연구 동기 및 목표

• 질의 중심 요약(QFS)에 대한 추상적 접근을 동기화하여 추출 방식보다 일관성을 개선한다.
• 재학습 없이 다문서 QFS 설정에 맞게 사전 학습된 단일 문서 추상 모델을 다문서로 적응시킨다.
• 생성 가이드를 위한 주의집중 메커니즘에 명시적으로 질의 관련성을 반영한다.
• 250단어 규모의 더 긴 출력을 생성하기 위한 반복적 다문서 요약 절차를 개발한다.
• 추출 기반 baselines와 대비하고 관련성 품질이 성능에 미치는 영향을 분석한다.

제안 방법

• 사전 학습된 커버리지 포함 포인터-생성기 기반의 추상 모델을 기본으로 사용한다.
• 소프트맥스 이전에 unnormalized attention 점수에 문장/단어 관련성 점수(Rel_i)를 곱해 주의집중에 관련성을 반영한다.
• softmax 규모를 유지하기 위해 관련 점수를 보정한다(코사인 유사도를 10배로 스케일).
• 단어 수, TF-IDF, Word2vec 등의 관련성 모델과 골 요약을 기반으로 한 Oracle 상한을 탐색한다.
• 질의에 대한 TF-IDF 관련성을 통해 관련 문서를 선택하고 250단어 예산에 도달할 때까지 추상적 출력을 모아 제거된 중복 문장을 제거하는 반복 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 관련성 인식 추상 모델이 단순 필터링이나 블랙박스 추상 시스템보다 QFS를 개선할 수 있는가?
• RQ2 주의집중에 관련성을 주입하는 것이 입력 문장을 필터링하는 것보다 더 나은 일관성과 관련성을 제공하는가?
• RQ3 관련성 모델의 품질이 단일-문서 및 다문서 입력에서 RSA-QFS의 성능에 어떤 영향을 미치는가?
• RQ4 반복적 다문서 RSA-QFS 접근법이 추출 QFS baselines에 비견될 만큼 길고 일관된 요약을 생성할 수 있는가?
• RQ5 추출 방식에 대한 RSA-QFS의 잠재적 상한(Oracle 관련성)은 무엇인가?

주요 결과

• RSA-QFS는 단일 문서 시나리오에서 필터링 기반 baselines 대비 DUC 2005–2007 데이터셋에서 ROUGE를 크게 향상시켰다.
• 관련성 모델 중 단어 수 관련성이 단일문서 ROUGE 향상에서 가장 우수한 성과를 보였고; Word2vec가 근접하며 TF-IDF는 저조했다.
• 최신 추출 방법(CES)과 비교할 때 Iterative RSA Word Count 및 Iterative RSA Oracle이 경쟁력 있는 ROUGE 점수를 달성했고, Oracle은 상당한 상한선 향상을 보였다.
• Debatepedia에서 RSA-QFS는 읽기 가능한 요약을 생성했고 도메인 엔드-투-엔드 모델보다 재현율(Recall) 방식에서 더 높은 ROUGE를 보였으며, 데이터셋 간 차이가 존재했다.
• 생성 문장의 상당 부분(약 1/3)은 입력에서 직접 복사된 문장이 아니라 실제 추상적 동작을 나타내며, 반복 버전의 일관성은 개선 여지가 있다.