[논문 리뷰] Length-controllable Abstractive Summarization by Guiding with Summary Prototype

Itsumi Saito, Kyosuke Nishida외 6명|arXiv (Cornell University)|2020. 01. 21.

Topic Modeling참고 문헌 18인용 수 24

한 줄 요약

이 논문은 문장 길이를 제어할 수 있는 개괄적 요약 모델을 제안하며, 내용 선택과 길이 제어를 안내하기 위해 단어 수준의 추출적 프로토타입을 사용한다. 먼저 중요한 단어들의 길이 제약이 있는 프로토타입을 추출한 후 이를 연합 인코더-디코더 모델의 입력으로 사용함으로써, 더 정보가 풍부하고 정확한 크기의 요약을 생성한다. 이 방법은 CNN/Daily Mail 및 NEWSROOM 데이터셋에서 이전의 접근 방식을 능가한다.

ABSTRACT

We propose a new length-controllable abstractive summarization model. Recent state-of-the-art abstractive summarization models based on encoder-decoder models generate only one summary per source text. However, controllable summarization, especially of the length, is an important aspect for practical applications. Previous studies on length-controllable abstractive summarization incorporate length embeddings in the decoder module for controlling the summary length. Although the length embeddings can control where to stop decoding, they do not decide which information should be included in the summary within the length constraint. Unlike the previous models, our length-controllable abstractive summarization model incorporates a word-level extractive module in the encoder-decoder model instead of length embeddings. Our model generates a summary in two steps. First, our word-level extractor extracts a sequence of important words (we call it the "prototype text") from the source text according to the word-level importance scores and the length constraint. Second, the prototype text is used as additional input to the encoder-decoder model, which generates a summary by jointly encoding and copying words from both the prototype text and source text. Since the prototype text is a guide to both the content and length of the summary, our model can generate an informative and length-controlled summary. Experiments with the CNN/Daily Mail dataset and the NEWSROOM dataset show that our model outperformed previous models in length-controlled settings.

연구 동기 및 목표

• 실제 구현에 있어 매우 중요한 요약 길이의 제어 불가능성 문제를 해결하기 위해.
• 길이 임베딩의 한계를 극복하기 위해, 제약 조건 하에서 내용 선택을 제어하지 못하는 문제를 해결하기 위해.
• 학습 가능한 프로토타입 텍스트를 통해 내용 인식 지도를 통합함으로써 요약 품질을 향상시키기 위해.
• 다양한 텍스트 스타일에 맞게 유연한 길이 제어를 가능하게 하기 위해 도메인 특화 요약 길이에 적응할 수 있도록 하기 위해.
• 프로토타입 기반 지도 방식이 강화 학습 없이도 표준 및 길이 제어 요약 설정 모두에서 길이 임베딩 기반 베이스라인을 능가하는가를 입증하기 위해.

제안 방법

• 단어 수준의 추출 모듈이 BERT 기반 인코딩을 사용하여 소스 텍스트의 각 단어에 대해 중요도 점수를 계산한다.
• 상위-K개의 중요한 단어들이 프로토타입 텍스트로 추출되며, K는 원하는 요약 길이에 의해 결정된다.
• 프로토타입 텍스트는 인코더-디코더 모델의 추가 입력으로 사용되어 소스 텍스트와 프로토타입을 함께 인코딩할 수 있도록 한다.
• 개괄적 디코더는 소스 텍스트와 프로토타입 양쪽에 주의를 기울여 关련 핵심 단어를 복사하고 유창하고 간결한 요약을 생성할 수 있도록 한다.
• 복사 및 생성의 균형을 이루기 위해 포인터-생성 아키텍처와 향상된 주의 메커니즘을 사용한다.
• 프로토타입 추출기는 개괄적 모델과 함께 엔드 투 엔드로 훈련되어 내용 선택과 요약 생성 간의 일치를 보장한다.

실험 결과

연구 질문

• RQ1 프로토타입 기반 접근 방식이 길이 제어 가능한 개괄적 요약에서 길이 임베딩 기반 방법보다 우월한가?
• RQ2 단어 수준의 추출 모듈을 사용하면 길이 제약 조건 하에서 내용의 관련성과 요약 품질이 향상되는가?
• RQ3 다양한 뉴스 도메인에서 요약 길이가 다른 상황에서도 모델이 일반화 가능한가?
• RQ4 도메인 특화 평균 길이를 제약 조건으로 통합하면 요약 성능에 어떤 영향을 미치는가?
• RQ5 강화 학습 없이도 프로토타입 유도 생성이 더 높은 ROUGE 점수를 달성할 수 있는가?

주요 결과

• 제안된 모델은 CNN/Daily Mail 및 NEWSROOM 데이터셋 양쪽에서 공식 기준 베이스라인과 LPAS w/o Prototype 기준 베이스라인보다 유의미하게 높은 ROUGE 점수를 기록했다.
• 표준 및 길이 제어 설정 양쪽에서 길이 임베딩 기반 모델보다 우수한 성능을 보이며, 내용 제어력과 유창성 측면에서 뛰어난 성능을 입증했다.
• 도메인 수준의 평균 길이를 제약 조건으로 통합함으로써 ROUGE 점수가 향상되었으며, 이는 뉴스 텍스트의 스타일적 차이에 효과적으로 적응했음을 시사한다.
• 프로토타입 추출기가 핵심 정보를 포함시키면서도 원하는 길이를 유지하도록 개괄적 모델을 효과적으로 안내했음을 높은 ROUGE-F1 점수로 입증했다.
• 강화 학습 없이도 뛰어난 성능를 달성하여, 프로토타입 지도만으로도 내용 선택에 효과적인 지도를 제공할 수 있음을 시사한다.
• 제거 실험 결과, 프로토타입 모듈이 성능 향상에 필수적이며 이를 제거하면 성능이 크게 떨어짐을 확인했다.