[논문 리뷰] Monolingual versus Multilingual BERTology for Vietnamese Extractive Multi-Document Summarization

Huy Quoc To, Kiet Van Nguyen외 2명|arXiv (Cornell University)|2021. 08. 31.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 베트남어를 위한 추출적 다중 문서 요약에 대해 단어별 및 다국어 BERT 모델을 평가하며, BERT 인코딩 문장 임베딩에 기반한 클러스터링 기반 접근법을 사용한다. 단어별 viBERT4news 모델이 ROUGE-1 점수 77.44%와 ROUGE-2 점수 52.01%를 기록하여 다국어 BERT 변형 및 이전의 베트남어 요약 시스템을 모두 앞서며 최고의 성능을 보였다.

ABSTRACT

Recent researches have demonstrated that BERT shows potential in a wide range of natural language processing tasks. It is adopted as an encoder for many state-of-the-art automatic summarizing systems, which achieve excellent performance. However, so far, there is not much work done for Vietnamese. In this paper, we showcase how BERT can be implemented for extractive text summarization in Vietnamese on multi-document. We introduce a novel comparison between different multilingual and monolingual BERT models. The experiment results indicate that monolingual models produce promising results compared to other multilingual models and previous text summarizing models for Vietnamese.

연구 동기 및 목표

• 베트남어에서 추출적 다중 문서 요약에 대해 단어별 및 다국어 BERT 모델의 효과성을 평가하는 것.
• 다양한 BERT 변형(다국어 및 단어별 모델 포함)이 베트남어 요약 벤치마크에서 성능을 비교하는 것.
• 베트남어 데이터로 사전 훈련된 단어별 BERT 모델이 이와 같은 저자원 언어 작업에서 다국어 모델보다 뛰어난 성능을 보이는지 평가하는 것.
• 제안된 BERT 기반 접근법을 기존 비지도 학습 및 딥러닝 방법과 비교하여 평가하는 것.
• 사전 훈련 데이터 분포(예: 뉴스 전용)가 도메인 일치 설정에서 모델 성능에 미치는 영향을 분석하는 것.

제안 방법

• 베트남어 추출적 요약 작업에 대해 단어별(PhoBERT, viBERT4news) 및 다국어(Multilingual-BERT, XLM-R, DistilBERT) BERT 모델을 미세조정하고 평가하는 것.
• 클러스터링 기반 문장 선택에 BERT 모델의 문장 임베딩을 입력으로 사용하며, 요약을 구성하기 위해 K=4 클러스터를 사용하는 것.
• 각 모델의 최고 F-점수를 산출하기 위해 주제당 두 개의 참조 요약을 사용하여 ROUGE 평가 지표(ROUGE-1 및 ROUGE-2)를 적용하는 것.
• 인코딩 전에 입력 문서를 문장으로 분할하고 BERT 토크나이저를 적용하여 전처리하는 것.
• 기본 크기의 BERT 아키텍처를 사용하여 Hugging Face Transformers 라이브러리를 통해 모델을 훈련 및 평가하는 것.
• 여러 참조 요약에서 평균 최고 F-점수를 사용하여 모델 간 성능을 비교하는 것.

실험 결과

연구 질문

• RQ1 베트남어를 위한 추출적 다중 문서 요약에서, 베트남어 데이터로 사전 훈련된 단어별 BERT 모델이 다국어 BERT 모델보다 뛰어나게 성능을 내는가?
• RQ2 다양한 다국어 BERT 변형(예: Multilingual-BERT, XLM-R, DistilBERT)은 베트남어 요약에서 성능 면에서 어떻게 비교되는가?
• RQ3 뉴스 데이터와 같은 도메인 특화 사전 훈련이 뉴스 기반 요약 데이터셋에서 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 BERT 기반 방법은 LSA, LexRank, CNN, LSTM 등의 이전 비지도 학습 및 딥러닝 방법과 ROUGE 점수 측면에서 어떻게 비교되는가?
• RQ5 BERT 기반 모델은 CFVi-2 및 TSGVi와 같은 기존 최고 성능의 베트남어 요약 시스템을 뛰어넘을 수 있는가?

주요 결과

• 단어별 viBERT4news 모델이 ROUGE-1 점수 77.44%와 ROUGE-2 점수 52.01%를 기록하여 테스트된 모든 다른 BERT 모델을 앞서며 최고의 성능을 보였다.
• 다국어 BERT 모델들, 특히 XLM-R-base와 DistilBERT-multilingual-cased는 각각 ROUGE-1 점수 77.40% 및 77.42%를 기록하여 경쟁력 있는 성능을 보였다.
• viBERT4news 모델은 전통적인 비지도 학습 방법(예: KL-divergence, ROUGE-1 60.2%)과 딥러닝 기반 베이스라인(예: CNN, ROUGE-1 52.8%)보다 25퍼센트 포인트 이상 뛰어난 성능을 보였다.
• viBERT4news와 최고의 이전 시스템(CFVi-2) 간의 성능 격차는 ROUGE-1 기준 1.06% 및 ROUGE-2 기준 2.58%로, 그 성능이 최고 수준임을 확인시켰다.
• viBERT4news의 성공은 테스트 데이터셋의 도메인과 밀접하게 일치하는 20GB의 베트남어 뉴스 데이터로 사전 훈련된 데 기인한다.
• 강력한 성능에도 불구하고, 어떤 단어별 모델도 항상 모든 다국어 모델을 앞서지는 않으며, 이는 사전 훈련 데이터 분포와 모델 아키텍처가 핵심 요소임을 시사한다.