[논문 리뷰] Multi-stage Pretraining for Abstractive Summarization

Sebastian Goodman, Zhenzhong Lan외 1명|arXiv (Cornell University)|2019. 09. 23.

Topic Modeling참고 문헌 34인용 수 4

한 줄 요약

이 논문은 BERT와 Gigaword 사전학습을 사용한 전체 네트워크 초기화를 통해 성능과 개괄성 향상을 위한 다단계 사전학습을 제안한다. 최대우도 학습과 추론 시 히وري스틱 없이도 랜덤 초기화 대비 Gigaword에서 +1.05 ROUGE-L, CNN/DailyMail에서 +1.78 ROUGE-L의 성능 향상을 달성하였으며, 추상적 생성 비율은 4%로 이전 MLE 기반 모델보다 유의하게 높다.

ABSTRACT

Neural models for abstractive summarization tend to achieve the best performance in the presence of highly specialized, summarization specific modeling add-ons such as pointer-generator, coverage-modeling, and inferencetime heuristics. We show here that pretraining can complement such modeling advancements to yield improved results in both short-form and long-form abstractive summarization using two key concepts: full-network initialization and multi-stage pretraining. Our method allows the model to transitively benefit from multiple pretraining tasks, from generic language tasks to a specialized summarization task to an even more specialized one such as bullet-based summarization. Using this approach, we demonstrate improvements of 1.05 ROUGE-L points on the Gigaword benchmark and 1.78 ROUGE-L points on the CNN/DailyMail benchmark, compared to a randomly-initialized baseline.

연구 동기 및 목표

• 복잡한 추론 시 히وري스틱이나 작업별 아키텍처 수정에 의존하지 않고 추상적 요약 성능을 향상시키기 위해.
• 일반적인 언어 모델링(BERT)에서 시작하여 요약 전용 작업(Gigaword)으로 진행되는 다단계 사전학습이 모델 성능과 추상성 향상에 기여하는지 조사하기 위해.
• 요약 벤치마크에서 전체 네트워크 파라미터 초기화와 부분적 또는 浅층적 사전학습의 영향을 평가하기 위해.
• 특히 최첨단 MLE 기반 모델과 비교하여 사전학습이 추상적 생성 비율 향상에 기여하는지, 동시에 높은 ROUGE 점수를 유지하는지 확인하기 위해.

제안 방법

• 모델은 Transformer 기반 아키텍처를 사용하며, 인코더와 디코더 레이어가 모두 BERT와 Gigaword 사전학습 단계에서의 사전학습 가중치를 사용해 전체 네트워크 초기화된다.
• 다단계 사전학습은 두 단계로 진행된다: 첫째, 일반적인 언어 이해를 위한 BERT 언어 모델링 목표로 사전학습을 수행하고, 둘째, 요약 전용 지식을 위한 Gigaword 요약 작업으로 사전학습을 진행한다.
• 최종 미세조정 단계에서는 추론 시 히وري스틱 없이도 대상 데이터셋(CNN/DailyMail 또는 Gigaword)에서 최대우도 추정(MLE) 손실을 사용한다.
• 랜덤 초기화, BERT로만 인코더를 초기화하는 것, 인코더와 디코더 양쪽에 BERT와 Gigaword 사전학습을 결합한 초기화 방법을 비교한다.
• ROUGE-L F1 점수와 추상적 생성 비율을 사용해 평가하며, 부분적 사전학습에 대한 추론 실험을 통해 레이어 초기화 깊이의 영향을 분석한다.
• 주요 실험에서는 포인터-ジェ너레이터나 커버리지 메커니즘을 사용하지 않으며, 사전학습을 주요 성능 향상 수단으로 삼는다.

실험 결과

연구 질문

• RQ1 BERT에서 시작하여 Gigaword 요약 작업으로 진행되는 다단계 사전학습이 랜덤 초기화 대비 추상적 요약 성능 향상에 기여하는가?
• RQ2 단순히 단어 임베딩만 초기화하는 얕은 사전학습이 아닌, 전체 네트워크 파라미터 초기화가 요약 작업에서 더 나은 성능을 낼 수 있는가?
• RQ3 사전학습이 추상적 생성 비율을 얼마나 향상시키는가? 특히 최첨단 MLE 기반 모델과 비교했을 때 어떻게 되는가?
• RQ4 제안된 방법이 길이 패널티나 n-gram 반복 제어 등의 추론 시 히وري스틱에 의존하지 않고도 높은 성능을 달성하는가?
• RQ5 사전학습된 레이어 수와 모델 성능 간의 관계는 어떠한가? 더 깊은 사전학습이 일관되게 성능 향상에 기여하는가?

주요 결과

• 다단계 사전학습 접근법은 무작위 초기화 기반 베이스라인 대비 Gigaword 벤치마크에서 +1.05 ROUGE-L F1 점수 향상을 달성했다.
• CNN/DailyMail 벤치마크에서는 동일한 기반 모델 대비 +1.78 ROUGE-L F1 점수 향상을 기록했으며, 이는 이전의 MLE 기반 모델을 초월하는 성능이었다.
• 모델은 4%의 추상적 생성 비율을 달성했으며, 이는 Gehrmann 등(2018)이 제시한 최첨단 MLE 기반 모델의 0.5%보다 유의미하게 높은 수준이었다. 이는 추출적 생성과 추상적 생성 간의 균형이 더 잘 이루어졌음을 시사한다.
• 전체 네트워크 초기화—즉, 인코더와 디코더 양쪽이 사전학습 가중치로 초기화된 경우—는 부분적 또는 얕은 사전학습보다 더 나은 성능을 보였으며, 사전학습된 레이어 수와 ROUGE-L F1 점수 간에 강한 정적 상관관계(r = 0.8698)를 보였다.
• 영점 또는 일단계 사전학습 기반 모델보다 더 적은 학습 에포크 수 내에 최고 성능에 도달했으며, 이는 더 빠른 수렴을 의미한다.
• 콘텐츠 선택 예측 추가로 인해 ROUGE-L F1 점수는 0.03만 상승했으며, 이는 사전학습 자체의 성과에 비해 유의미한 이점이 없음을 시사한다.