[논문 리뷰] VieSum: How Robust Are Transformer-based Models on Vietnamese Summarization?

Hieu Nguyen, Long Phan외 3명|arXiv (Cornell University)|2021. 10. 08.

Topic Modeling참고 문헌 23인용 수 4

한 줄 요약

이 논문은 두 데이터셋인 Wikilingua와 Vietnews를 사용하여 베트남어 추상적 요약 작업을 위한 Transformer 기반 인코더-디코더 모델의 내성적 성능을 평가한다. 그 결과, mT5와 mBART와 같은 다국어 모델이 PhoBERT와 ViBERT와 같은 단국어 모델보다 성능이 뛰어나며, 특히 위키백과 기반 데이터에서는 더욱 두드러진다. 이는 사전 훈련 데이터의 품질이 매우 중요하며, 더 강력한 단국어 모델을 통해 성능 향상을 이룰 수 있음을 시사한다.

ABSTRACT

Text summarization is a challenging task within natural language processing that involves text generation from lengthy input sequences. While this task has been widely studied in English, there is very limited research on summarization for Vietnamese text. In this paper, we investigate the robustness of transformer-based encoder-decoder architectures for Vietnamese abstractive summarization. Leveraging transfer learning and self-supervised learning, we validate the performance of the methods on two Vietnamese datasets.

연구 동기 및 목표

• 사전 훈련된 Transformer 기반 모델이 베트남어 추상적 요약 작업에서 얼마나 내성적인지 조사하기 위해.
• 베트남어 단국어 모델(예: PhoBERT, ViBERT)과 다국어 모델(예: mT5, mBART) 간의 성능을 비교하기 위해.
• 저자원 환경인 베트남어 NLP에서 사전 훈련 데이터의 분포와 규모가 모델 성능에 미치는 영향을 분석하기 위해.
• 전이 학습과 자기지도 학습 기반 사전 훈련이 베트남어 추상적 요약 성능 향상에 기여하는지 평가하기 위해.
• 두 가지 공개된 베트남어 요약 데이터셋에 대해 모델를 미세조정함으로써未래 연구를 위한 벤치마크를 제공하기 위해.

제안 방법

• Vaswani 등(2017)의 기반으로 한 인코더-디코더 Transformer 아키텍처를 미세조정하여, 사전 훈련된 인코더와 디코더를 사용하였다.
• 시퀀스-투-시퀀스 요약 작업에 적합하도록 pre-trained 모델을 변형하기 위해 BERT2BERT 아키텍처(Rothe 등, 2019)를 적용하였다.
• 두 가지 데이터셋을 사용하였다: Wikilingua(위키백과 기반)와 Vietnews(베트남 언론 기사 기반), 모두 인간이 작성한 요약이 포함되어 있다.
• 기준 요약과의 n-그램 및 최장 공통 부분 수열 겹침을 측정하기 위해 ROUGE-1, ROUGE-2, ROUGE-L 지표를 사용하여 모델 성능을 평가하였다.
• 동일한 미세조정 설정에서 단국어 모델(PhoBERT, ViBERT)과 다국어 모델(mBERT, mBART, mT5)을 훈련하고 비교하였다.
• 기본 모델의 초기 사전 훈련 단계에서 Masked Language Modeling(MLM)과 같은 자기지도 학습 목표를 활용하였다.

실험 결과

연구 질문

• RQ1 단국어 베트남어 사전 훈련 모델이 다국어 모델보다 추상적 요약 성능에서 어떻게 다를까?
• RQ2 사전 훈련 데이터의 품질과 도메인이 제한된 도메인 요약 작업에서 성능에 영향을 미치는가?
• RQ3 무작위 가중치 초기화 대비 사전 훈련된 디코더를 통합할 경우 요약 성능 향상은 어느 정도 이루어지는가?
• RQ4 mT5와 mBART와 같은 다국어 모델이 베트남어 데이터에 대해 특별히 미세조정되지 않았음에도 불구하고 베트남어 요약에 효과적으로 일반화될 수 있는가?
• RQ5 PhoBERT와 ViBERT와 같은 단국어 모델이 베트남어 뉴스 기사와 위키백과 스타일 문서에서 다국어 모델 대비 상대적으로 어떤 성능을 보이는가?

주요 결과

• mT5는 Wikilingua에서 가장 높은 ROUGE 점수를 기록했으며, ROUGE-1은 55.27, ROUGE-2는 27.63, ROUGE-L은 38.30이었다. 이는 모든 다른 모델을 앞서는 성능이었다.
• mBART는 Wikilingua에서 두 번째로 뛰어난 성능을 보였으며, ROUGE-1은 55.21, ROUGE-2는 25.69, ROUGE-L은 37.33이었다.
• Vietnews 데이터셋에서는 PhoBERT2PhoBERT 모델이 가장 뛰어난 성능을 보였으며, ROUGE-1: 60.37, ROUGE-2: 29.12, ROUGE-L: 39.44였다. 다국어 모델을 모두 앞섰다.
• 단국어 모델인 PhoBERT2PhoBERT는 랜덤 가중치 기반 베이스라인(RND2RND) 대비 Wikilingua에서 모든 ROUGE 지표에서 2–4% 향상된 성능을 보였다.
• Vietnews 데이터셋에서 다국어 모델인 mT5와 mBART는 RND2RND 베이스라인 대비 거의 향상되지 않아 뉴스 기반 텍스트로의 전이 가능성은 제한적임을 시사한다.
• Common Crawl와 같은 대규모이고 다양한 코퍼스에서 사전 훈련한 모델(mT5와 mBART)은 위키백과 스타일의 제한된 도메인 텍스트에서는 성능 향상을 보였지만, 도메인 특화된 뉴스 텍스트에서는 그렇지 않았다.