[논문 리뷰] AraBART: a Pretrained Arabic Sequence-to-Sequence Model for Abstractive Summarization

Moussa Kamal Eddine, Nadi Tomeh외 3명|arXiv (Cornell University)|2022. 03. 21.

Topic Modeling인용 수 6

한 줄 요약

AraBART는 아랍어 개괄 요약을 위한 엔드 투 엔드 미리 훈련된 시퀀스 투 시퀀스 모델로, 인코더, 디코더, 어텐션 가중치를 함께 미리 훈련하기 위해 BART의 노이즈 제거 오토인코더 목적을 활용한다. 다양한 개괄 요약 벤치마크에서 최신 기술 성능을 기록하며, 특히 XL-Sum과 같은 더 개괄적인 데이터셋에서 BERT 기반 모델과 더 큰 다국어 모델인 mBART25를 능가한다.

ABSTRACT

Like most natural language understanding and generation tasks, state-of-the-art models for summarization are transformer-based sequence-to-sequence architectures that are pretrained on large corpora. While most existing models focused on English, Arabic remained understudied. In this paper we propose AraBART, the first Arabic model in which the encoder and the decoder are pretrained end-to-end, based on BART. We show that AraBART achieves the best performance on multiple abstractive summarization datasets, outperforming strong baselines including a pretrained Arabic BERT-based model and multilingual mBART and mT5 models.

연구 동기 및 목표

• 아랍어 개괄 요약을 위한 엔드 투 엔드 미리 훈련된 시퀀스 투 시퀀스 모델의 부족을 해결한다.
• 기존 모델이 인코더만 미리 훈련하거나 디코더를 미리 훈련하지 않는 한계를 극복한다.
• 인코더, 디코더, 어テン션 가중치의 공동 미리 훈련을 통해 아랍어 개괄 요약의 신뢰성과 유창성을 향상시킨다.
• 다양한 개괄 요약 데이터셋, 특히 덜 사용되는 아랍어 기사 워드와 다국어 XL-Sum을 평가하여 다양한 수준의 개괄성에 걸쳐 성능을 평가한다.
• 엔드 투 엔드 미리 훈련이 더 개괄적인 요약 작업에서 뛰어난 성능을 내는 데 기여함을 입증한다.

제안 방법

• 기본 BART 아키텍처를 채택하여 6개의 인코더 레이어와 6개의 디코더 레이어, 768개의 히든 차원, 총 139M개의 파라미터를 사용하고, 아랍어에 맞게 미세조정한다.
• 20GB의 미리 훈련 코퍼스 서브셋에 문장 조각 토크나이저를 적용하여 50K의 어휘 크기와 99.99%의 문자 커버리지로 OOV 토큰을 최소화한다.
• BART의 노이즈 제거 오토인코더 목적을 사용해 AraBART를 미리 훈련한다: 30%의 마스크된 스펜스를 [MASK]로 대체하고 문장 순서를 뒤섞는다.
• 128개의 V100 GPU를 사용하여 약 60시간 동안 훈련하며, 선형 웜업과 디케이를 적용한 Adam 옵티마이저와 FP16 정밀도를 사용하고, 안정성을 높이기 위해 추가로 레이어 정규화를 적용한다.
• 두 개의 개괄 요약 데이터셋에서 미세조정한다: 아랍어 기사 워드(헤드라인 생성)와 XL-Sum(다국어, 다양한 소스 유형 포함).
• ROUGE-L, BERTScore, 그리고 새로운 n-그램 비율을 사용하여 추상성과 사실 일관성을 측정한다.

실험 결과

연구 질문

• RQ1 인코더만 미리 훈련하는 모델과 비교해 엔드 투 엔드로 미리 훈련된 시퀀스 투 시퀀스 모델이 아랍어 개괄 요약 성능을 향상시킬 수 있는가?
• RQ2 특히 더 개괄적인 데이터셋에서 mBART25와 같은 더 큰 다국어 모델보다 AraBART가 성능 면에서 뛰어나게 되는가?
• RQ3 추상성(새로운 n-그램 비율로 측정)과 AraBART의 성능 향상 간 상관관계가 존재하는가?
• RQ4 AraBART는 다양한 아랍어 요약 데이터셋, 특히 다양한 수준의 추상성과 소스 유형을 가진 데이터셋에서 어떻게 성능을 내는가?
• RQ5 인코더, 디코더, 어텐션 가중치의 공동 미리 훈련이 생성된 요약의 사실 일관성과 유창성 향상에 얼마나 기여하는가?

주요 결과

• AraBART는 아랍어 기사 워드와 XL-Sum 데이터셋 양쪽에서 최신 기술 성능을 기록하며, BERT 기반 모델과 mBART25와 같은 더 큰 다국어 모델을 능가한다.
• XL-Sum에서 AraBART는 mBART25보다 ROUGE-L 점수에서 2.9점 높은 성능을 기록했으며, 가장 개괄적인 서브셋에서 성능 격차가 가장 크게 나타났다.
• 모델의 성능 격차는 추상성과 정확히 상관관계가 있으며, BERTScore 격차와 새로운 트리그램 비율 간 피어슨 상관계수는 0.6625(p < 0.05)이다.
• AraBART는 파라미터 수가 적음에도 불구하고 mT5를 XL-Sum에서 능가하여 언어 특화 미리 훈련의 이점을 입증한다.
• 기사 워드의 QDS 서브셋에서는 AraBART가 mBART25에 비해 성능이 열 劣하므로, 데이터셋 특화의 제약이나 분포의 이탈 가능성이 존재함을 시사한다.
• 모델는 더 높은 비율의 새로운 n-그램(예: XL-Sum에서 95.2%의 새로운 트리그램)을 생성하여 강력한 개괄적 요약 능력을 확인한다.