[논문 리뷰] BERT Fine-tuning For Arabic Text Summarization

Khalid N. Elmadani, Mukhtar Elgezouli외 1명|arXiv (Cornell University)|2020. 03. 29.

Topic Modeling참고 문헌 6인용 수 24

한 줄 요약

이 논문은 사전 훈련된 다국어 BERT(M-BERT)를 미세조정하여 사용한 첫 번째 문서화된 개성 요약 아랍어 텍스트 요약 모델을 제안하며, 자원이 부족한 아랍어 요약 작업에서 뛰어난 성능을 달성한다. 이는 M-BERT가 소규모 아랍어 데이터셋에서 추출적 요약과 개성적 요약 모두에 있어 비사전 훈련된 트랜스포머보다 뛰어난 성능을 보이며, 자원이 부족한 환경에서 아랍어 NLP의 새로운 벤치마크를 설정하고 있음을 보여준다.

ABSTRACT

Fine-tuning a pretrained BERT model is the state of the art method for extractive/abstractive text summarization, in this paper we showcase how this fine-tuning method can be applied to the Arabic language to both construct the first documented model for abstractive Arabic text summarization and show its performance in Arabic extractive summarization. Our model works with multilingual BERT (as Arabic language does not have a pretrained BERT of its own). We show its performance in English corpus first before applying it to Arabic corpora in both extractive and abstractive tasks.

연구 동기 및 목표

• 사전 훈련된 트랜스포머 아키텍처를 사용한 첫 번째 아랍어 개성 텍스트 요약 모델을 개발하는 것.
• 다국어 BERT(M-BERT)가 자원이 부족한 아랍어 텍스트 요약 작업에 효과적으로 적용될 수 있는지 평가하는 것.
• 추출적 요약 및 개성적 요약에서 미세조정된 M-BERT를 비사전 훈련된 트랜스포머 및 단일 언어 BERT와 비교하는 것.
• 기존의 소규모 아랍어 코퍼스인 KALIMAT와 EASC를 사용하여 아랍어 텍스트 요약의 벤치마크를 설정하는 것.
• M-BERT를 활용한 전이 학습을 통해 아랍어 NLP 자원의 부족 문제를 해결하는 것.

제안 방법

• 추출적 요약 및 개성적 요약 작업 모두에 대해 인코더로 사용된 미세조정된 다국어 BERT(M-BERT).
• BertSum 아키텍처를 사용: 다중 문장을 표현하기 위해 [CLS] 토큰과 간격 분할 임베딩을 추가.
• 개성적 요약을 위해, 6층의 트랜스포머 디코더를 무작위로 초기화하고 인코더와 함께 엔드 투 엔드로 훈련.
• 추출적 요약을 위해, 각 [CLS] 토큰 위에 시그모이드 분류기를 추가하여 요약에 포함될 문장을 예측.
• CNN/DailyMail(영어) 및 KALIMAT(아랍어) 데이터셋에서 모델을 훈련하고, 평가에는 ROUGE를 사용.
• 훈련을 안정화하기 위해 인코더와 디코더에 별도의 옵timizer를 사용하는 특수한 미세조정 스케줄을 적용.

실험 결과

연구 질문

• RQ1 다국어 BERT가 자원이 부족한 아랍어 텍스트 요약의 추출적 요약 및 개성적 요약에 효과적으로 전이 가능한가?
• RQ2 M-BERT는 아랍어 요약에서 단일 언어 BERT 및 비사전 훈련된 트랜스포머와 비교해 어떻게 성능을 내는가?
• RQ3 다국어 데이터로 사전 훈련된 모델이 소규모 아랍어 요약 데이터셋에서 성능 향상에 기여하는가?
• RQ4 추출적 요약 모델과 개성적 요약 모델 간의 상대적 성능 격차는 아랍어 요약 작업에서 어떻게 나타나는가?
• RQ5 특정 아랍어 BERT가 없는 단일 M-BERT 모델이 추출적 요약과 개성적 요약 모두에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• CNN/DailyMail 영어 테스트 세트에서 M-BERT는 ROUGE-1 30.35, ROUGE-2 11.33, ROUGE-L 25.3을 기록했으며, 단일 언어 BERT와 유사한 성능을 보였다.
• KALIMAT 아랍어 데이터셋에서 미세조정된 BertSumExt 모델은 ROUGE-1 F1 점수 42.02를 기록했으며, 비사전 훈련된 트랜스포머Ext(28.75)보다 뚜렷이 뛰어난 성능을 보였다.
• 개성적 요약 모델(BertSumAbs)은 KALIMAT에서 ROUGE-1 F1 점수 12.21을 기록하여, 자료가 제한된 상황에서도 아랍어에서 개성적 요약이 가능하다는 것을 입증했다.
• 사전 훈련된 M-BERT는 추출적 요약과 개성적 요약 양 측면에서 비사전 훈련된 트랜스포머보다 뚜렷한 성능 향상을 보였으며, 자원이 부족한 아랍어 NLP 분야에서 전이 학습의 가치를 확인했다.
• 예상대로 추출적 요약 데이터셋에서는 추출적 모델이 개성적 모델보다 일관되게 높은 성능을 보였지만, 개성적 모델 역시 의미 있는 성능을 달성했다.
• 본 연구는 문서화된 첫 번째 아랍어 개성 요약 모델을 확립하며, 아랍어 NLP 연구 분야에서 중요한 격차를 메웠다.