[논문 리뷰] Controlling the Amount of Verbatim Copying in Abstractive Summarization

Kaiqiang Song, Bingqing Wang외 3명|arXiv (Cornell University)|2019. 11. 23.

Topic Modeling참고 문헌 45인용 수 4

한 줄 요약

이 논문은 단일 참조 요약문에서 학습함으로써 개별 요약 생성에서 그대로 복사(verbatim copying)를 제어하는 디코더 전용 트랜스포머 모델을 제안한다. 학습 및 디코딩 중에 이미 본(복사 가능한) 단어와 본 적이 없는(생성 가능한) 단어의 예측을 분리함으로써, 모델은 추출적 요약에서 개성적 요약에 이르기까지 스펙트럼 전반에서 요약을 생성하며, 경쟁적인 ROUGE 및 BERTScore 성능을 달성하면서도 복사 비율에 대한 탄력적인 제어가 가능하다.

ABSTRACT

An abstract must not change the meaning of the original text. A single most effective way to achieve that is to increase the amount of copying while still allowing for text abstraction. Human editors can usually exercise control over copying, resulting in summaries that are more extractive than abstractive, or vice versa. However, it remains poorly understood whether modern neural abstractive summarizers can provide the same flexibility, i.e., learning from single reference summaries to generate multiple summary hypotheses with varying degrees of copying. In this paper, we present a neural summarization model that, by learning from single human abstracts, can produce a broad spectrum of summaries ranging from purely extractive to highly generative ones. We frame the task of summarization as language modeling and exploit alternative mechanisms to generate summary hypotheses. Our method allows for control over copying during both training and decoding stages of a neural summarization model. Through extensive experiments we illustrate the significance of our proposed method on controlling the amount of verbatim copying and achieve competitive results over strong baselines. Our analysis further reveals interesting and unobvious facts.

연구 동기 및 목표

• 단일 참조 요약문으로만 훈련된 신경 기반 개성적 요약 생성 모델이 다양한 수준의 그대로 복사가 포함된 요약을 생성할 수 있도록 하는 것.
• 현대의 개성적 모델에서 복사 제어가 부족한 문제를 해결하여, 일반적으로 고정된 복사 비율을 갖는 출력을 생성하도록 하는 것.
• 훈련 및 디코딩 단계 모두에서 복사 행동에 대한 제어를 가능하게 하는 프레임워크를 개발하는 것.
• 통제된 복사를 통해 환상적 요약을 줄이고 의미를 유지함으로써 요약 품질을 향상시키는 것.
• 단일 참조 모델이 추출적-개성적 스펙트럼 전반에서 다양한 요약 가설을 생성할 수 있음을 보여주는 것.

제안 방법

• 모델는 공유된 인코더-디코더 파라미터를 갖는 디코더 전용 트랜스포머 아키텍처를 사용하여 언어 모델링 작업으로서 요약을 설정한다.
• 예측을 두 구성요소로 분리한다: 소스 텍스트에서 이미 본 단어(복사)와 본 적이 없는 단어(생성), 이를 통해 복사 행동에 대한 제어가 가능하다.
• 훈련 중에 모델는 본 적이 있는 단어와 없는 단어의 비율을 다양하게 노출시켜 복사 또는 복사 회피를 학습하도록 한다.
• 디코딩 시에는 검색 전략(예: 빔 서치, 베스트-퍼스트 서치)과 재정렬 방법(예: BP-Norm, SBWR)을 사용하여 소스 텍스트 표현 방식의 복사를 장려한다.
• 모든 파라미터, 특히 어텐션 및 복사 메커니즘에 대해 웜스타트된 미세조정된 표현을 사용하여 훈련 안정성을 향상시킨다.
• 복사 비율은 요약문에 포함된 n-그램 중 소스 텍스트에 그대로 존재하는 비율로 정의되며, 이는 정량적 제어 지표로 기능한다.

실험 결과

연구 질문

• RQ1 단일 참조 요약문으로 훈련된 신경 기반 개성적 요약 생성 모델이 다양한 수준의 그대로 복사가 포함된 요약을 생성할 수 있는가?
• RQ2 제안된 방법이 훈련 및 디코딩 단계 모두에서 복사 행동을 효과적으로 제어하는가?
• RQ3 모델이 추출적 요약과 개성적 요약 유형 양쪽에서 자동 평가 및 인간 평가 점수에서 경쟁적인 성능을 달성하는가?
• RQ4 다양한 디코딩 전략(빔 서치 대비 베스트-퍼스트 서치)과 재정렬 방법이 복사 및 요약 품질에 어떤 영향을 미치는가?
• RQ5 모델은 도메인 간 일반화가 가능한가? 그리고 도메인 간 설정에서 성능이 어떻게 저하되는가?

주요 결과

• 모델는 단일 참조 요약문만을 사용함에도 불구하고, Gigaword 데이터셋에서 강력한 베이스라인을 능가하는 경쟁적인 ROUGE 및 BERTScore 성능을 달성한다.
• SBWR 재정렬을 사용한 빔 서치가 길이 정규화 및 베스트-퍼스트 서치를 모두 능가하는 최고의 성능을 기록한다.
• 더 높은 복사 비율(순수 추출적)을 가진 모델는 더 개성적인 변형보다 도메인 간 설정에서 더 유연하게 성능 저하를 보인다.
• 인간 평가 결과, 두 버전의 모델 모두 정보성, 문법성, 진실성 측면에서 베이스라인을 능가하며, 최고의 개성적 변형은 진실성 점수 2.865를 기록했다.
• 최고-최악 스케일링 분석 결과, 모델의 최고의 개성적 변형이 가장 나쁜 것보다 4.2% 더 자주 최고의 요약으로 선택되었으며, 이는 강력한 인간 선호도를 시사한다.
• 다중 참조 요약문이 필요 없이도 복사 제어를 효과적으로 가능하게 하여, 단일 참조에서의 탄력적 요약 생성의 가능성을 입증한다.