[논문 리뷰] Efficient Adaptation of Pretrained Transformers for Abstractive Summarization

Andrew Hoang, Antoine Bosselut외 2명|arXiv (Cornell University)|2019. 06. 01.

Topic Modeling참고 문헌 26인용 수 39

한 줄 요약

이 논문은 소스 임베딩과 도메인 적응 학습을 이용해 사전 학습된 트랜스포머 언어 모델을 추상적 요약에 효과적으로 재적용하여 두 데이터셋에서 새로운 ROUGE 기록을 달성하고 인간 평가에서 강한 성능을 보였다.

ABSTRACT

Large-scale learning of transformer language models has yielded improvements on a variety of natural language understanding tasks. Whether they can be effectively adapted for summarization, however, has been less explored, as the learned representations are less seamlessly integrated into existing neural text production architectures. In this work, we propose two solutions for efficiently adapting pretrained transformer language models as text summarizers: source embeddings and domain-adaptive training. We test these solutions on three abstractive summarization datasets, achieving new state of the art performance on two of them. Finally, we show that these improvements are achieved by producing more focused summaries with fewer superfluous and that performance improvements are more pronounced on more abstractive datasets.

연구 동기 및 목표

• 사전 학습된 트랜스포머 표현이 추상적 요약에 효과적으로 적응될 수 있는지 동기 부여 및 평가.
• 도메인 격차와 작업 정렬을 연결하기 위한 두 가지 적응 전략—소스 임베딩과 도메인 적응 학습(DAT)—을 제안.
• 세 가지 주요 요약 데이터셋에서 접근 방식을 평가하고 강력한 기준선과 비교.
• 요약 길이와 발췌도(추출성)가 ROUGE 점수와 인간 판단에 어떻게 영향을 미치는지 분석.

제안 방법

• 기사와 요약을 구분자와 특별한 종료 토큰으로 하나의 입력 시퀀스로 표현한다.
• 입력 표현에서 기사 토큰과 요약 토큰을 구분하기 위해 소스 임베딩을 도입한다.
• 최종 작업 요약 학습 전에 뉴스레터 언어와 일치하도록 도메인 적응 학습을 적용한다.
• 목표 요약의 조건부 가능도 최대화를 목표로 엔드-태스크 학습과 함께 GPT 계열 트랜스포머를 요약기로 미세조정한다.
• 비교를 위해 선택적으로 소스 임베딩을 제거하여 Transformer-LM을 구성하는 것도 가능하다.
• 생성에 대해 빔 너비 3의 빔 검색을 사용하고 ROUGE 지표로 평가한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델에서 초기화된 사전 학습 트랜스포머 언어 모델이 추상적 요약기로 효과적으로 재목적화될 수 있는가?
• RQ2 소스 임베딩과 도메인 적응 학습이 데이터셋 전반에서 추상적 요약의 질을 향상시키는가?
• RQ3 ROUGE 점수가 트랜스포머 기반 요약기의 인간 판단 및 요약 길이에 어떻게 연관되는가?
• RQ4 현재의 최첨단 요약이 비추상적 설계에도 불구하고 상당히 발췌적한가?

주요 결과

모델	R-1	R-2	R-L	길이
PGen	36.44	15.66	33.42	53.69
PGen+Coverage	39.53	17.28	36.38	59.75
RougeSal + Ent RL	40.43	18.00	37.10	-
Bottom-Up Summ	41.22	18.68	38.34	55.25
CopyTransformer	40.96	18.38	38.16	-
rnn-ext + RL	41.47	18.72	37.76	77.44
DCA	41.67	19.47	37.92	51.01
Transformer-LM	38.67	17.47	35.79	43.40
Transformer-SM	37.96	17.36	35.12	42.42

• 소스 임베딩과 도메인 적응 학습으로 학습된 트랜스포머 기반 요약기가 두 데이터셋에서 ROUGE-L의 최첨단을 달성한다.
• 인간 평가에서 Transformer-SM이 비중복성, 일관성, 집중도, 전반적 품질 측면의 일부 강력한 기준선보다 우위를 보였다.
• Transformer-SM은 더 짧고 간결한 요약을 생성하는 경향이 있지만 더 긴 기준선과 유사한 ROUGE-L 재현율을 유지하여 효율성이 더 높음을 시사한다.
• ROUGE 점수는 특히 ROUGE-L이 요약 길이에 민감하며 더 긴 요약을 선호할 때 낙관적으로 보일 수 있다.
• CNN/Daily Mail에서 Transformer-SM은 ROUGE에서 일부 기준선보다 뒤처지나 품질 측면의 인간 판단에서 선호된다.
• XSum에서 Transformer-SM은 기준선을 능가하고 Transformer-LM에 근접하거나 이를 상회하여 매우 추상적 요약에 대한 두 가지 적응의 이점을 시사한다.
• Newsroom에서 Transformer-SM은 ROUGE-1, ROUGE-2, ROUGE-L에서 이전 최상 모델을 능가한다.