[논문 리뷰] Abstractive Text Summarization based on Language Model Conditioning and Locality Modeling

Dmitrii Aksenov, Julián Moreno Schneider외 4명|arXiv (Cornell University)|2020. 03. 29.

Topic Modeling참고 문헌 36인용 수 12

한 줄 요약

이 논문은 BERT로 인코딩된 표현에 조건을 부여한 트랜스포머 디코더를 사용하는 새로운 개괄적 텍스트 요약 모델을 제안한다. 또한 초기 인코더 레이어에 2차원 컨볼루션 자기주의(self-attention)를 통합하여 국소적 문맥 모델링을 향상시킨다. 장문의 텍스트를 처리하기 위해 BERT 창(Windowing) 기법을 도입하여 BERT의 512토큰 제한을 초월한다. 이 모델은 CNN/Daily Mail에서 최신 기준 ROUGE 점수를 기록했으며, 독일어 SwissText에서도 베이스라인을 초월하여 사실 일致성과 유창성 면에서 자동 평가와 수동 평가 모두에서 향상된 성능을 보였다.

ABSTRACT

We explore to what extent knowledge about the pre-trained language model that is used is beneficial for the task of abstractive summarization. To this end, we experiment with conditioning the encoder and decoder of a Transformer-based neural model on the BERT language model. In addition, we propose a new method of BERT-windowing, which allows chunk-wise processing of texts longer than the BERT window size. We also explore how locality modelling, i.e., the explicit restriction of calculations to the local context, can affect the summarization ability of the Transformer. This is done by introducing 2-dimensional convolutional self-attention into the first layers of the encoder. The results of our models are compared to a baseline and the state-of-the-art models on the CNN/Daily Mail dataset. We additionally train our model on the SwissText dataset to demonstrate usability on German. Both models outperform the baseline in ROUGE scores on two datasets and show its superiority in a manual qualitative analysis.

연구 동기 및 목표

• BERT와 같은 사전 훈련된 언어 모델을 활용하여 입력 텍스트의 더 나은 문맥 인코딩을 통해 개괄적 텍스트 요약을 향상시키기.
• BERT의 512토큰 입력 창 제한 문제를 해결하기 위해 장문의 문서를 다룰 수 있도록 계단식 BERT 창 기법을 제안하기.
• 초기 레이어에 2차원 컨볼루션 자기주의를 도입하여 인코더의 국소적 의존성 모델링을 향상시키기.
• 영어(CNN/Daily Mail) 및 독일어(SwissText) 데이터셋에서의 성능 평가를 통해 모델의 다국어 적용 가능성을 입증하기.
• Lynx 및 QURATOR와 같은 NLP 플랫폼에 통합 가능한 공개 가능한 강력한 시스템을 제공하기.

제안 방법

• 입력 텍스트의 의미적 이해를 향상시키기 위해 트랜스포머 기반 모델의 인코더와 디코더를 BERT에서 유도된 문맥 표현에 조건을 부여하기.
• 표현 학습을 향상시키기 위해 인코더의 첫 레이어에 2차원 컨볼루션 자기주의를 도입하여 국소 토큰 의존성을 명시적으로 모델링하기.
• 512토큰을 초월하는 시퀀스를 처리하기 위해 장문의 텍스트를 겹치는 또는 순차적인 창으로 처리하고 표현을 집계하는 BERT 창 기법을 제안하기.
• 시퀀스 생성에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련하고, 요약 데이터셋에서 미세조정하기.
• 독일어 텍스트에 동일한 아키텍처를 적용하기 위해 SwissText 데이터셋에서 미세조정하여 다국어 일반화 능력을 검증하기.
• ROUGE 점수와 수동 평가를 사용하여 베이스라인 및 최신 기준 모델과의 성능 비교하기.

실험 결과

연구 질문

• RQ1 BERT 표현에 조건을 부여한 트랜스포머 디코더가 개괄적 요약 품질을 향상시키는가?
• RQ2 초기 인코더 레이어에 2차원 컨볼루션 자기주의를 통합하면 국소적 문맥 모델링과 요약 성능가 향상되는가?
• RQ3 BERT 창 기법이 512토큰을 초월하는 입력 길이를 효과적으로 처리하면서 성능 저하 없이 기능하는가?
• RQ4 제안된 모델은 저자원 또는 비영어 언어, 예를 들어 독일어와 같은 언어로 일반화되는가?
• RQ5 자동 평가(ROUGE)와 정성 평가(수동 평가) 모두에서 최신 기준 방법과 비교해 모델의 성능은 어떠한가?

주요 결과

• 제안된 모델은 CNN/Daily Mail 데이터셋에서 최신 기준 ROUGE 점수를 기록하여 이전 최신 기준 방법을 초월하였다.
• 컨볼루션 자기주의와 BERT 조건을 부여한 모델은 ROUGE 점수와 정성 평가 모두에서 베이스라인보다 뛰어난 성능을 보였으며, 더 자연스럽고 사실 일치성이 높은 요약을 생성하였다.
• BERT 창 기법을 통해 BERT의 512토큰 제한을 초월하는 장문의 문서 처리가 효과적으로 가능해졌으며, 높은 요약 품질을 유지하였다.
• 모델은 독일어 SwissText 데이터셋에서 뛰어난 성능을 기록하여 다국어 적용 가능성과 강건성을 확인하였다.
• 수동 평가 결과, 모델이 베이스라인 대비 더 정보가 풍부하고 문법적으로 올바른 요약을 생성하는 것으로 확인되었다.
• 모델의 소스 코드는 공개되어 있으며, Lynx 및 QURATOR와 같은 프로덕션 NLP 플랫폼에 통합되어 있다.