[论文解读] Monolingual versus Multilingual BERTology for Vietnamese Extractive Multi-Document Summarization

Huy Quoc To, Kiet Van Nguyen+2 more|arXiv (Cornell University)|Aug 31, 2021

Topic Modeling被引用 6

一句话总结

本论文评估了用于越南语抽取式多文档摘要的单语和多语 BERT 模型，采用基于聚类的方法对 BERT 编码的句子嵌入进行处理。单语 viBERT4news 模型在 ROUGE-1 上达到最高的 77.44%，在 ROUGE-2 上达到 52.01%，优于两种多语 BERT 变体以及先前的越南语摘要系统。

ABSTRACT

Recent researches have demonstrated that BERT shows potential in a wide range of natural language processing tasks. It is adopted as an encoder for many state-of-the-art automatic summarizing systems, which achieve excellent performance. However, so far, there is not much work done for Vietnamese. In this paper, we showcase how BERT can be implemented for extractive text summarization in Vietnamese on multi-document. We introduce a novel comparison between different multilingual and monolingual BERT models. The experiment results indicate that monolingual models produce promising results compared to other multilingual models and previous text summarizing models for Vietnamese.

研究动机与目标

• 评估单语和多语 BERT 模型在越南语抽取式多文档摘要任务中的有效性。
• 在越南语摘要基准上，比较多种 BERT 变体（包括多语和单语模型）的性能。
• 评估在越南语数据上预训练的单语 BERT 模型是否在这一低资源语言任务中优于多语模型。
• 将所提出的基于 BERT 的方法与现有的无监督方法和深度学习方法在越南语摘要任务中进行基准对比。
• 分析预训练数据分布（如新闻特定数据）在领域匹配设置下对模型性能的影响。

提出的方法

• 在越南语抽取式摘要任务上，微调并评估多个 BERT 模型——包括单语模型（PhoBERT、viBERT4news）和多语模型（Multilingual-BERT、XLM-R、DistilBERT）——的表现。
• 将 BERT 模型生成的句子嵌入作为输入，采用基于聚类的句子选择方法，设定 K=4 个聚类，生成包含四句话的摘要。
• 使用两个黄金摘要作为参考，通过 ROUGE 评估指标（ROUGE-1 和 ROUGE-2）计算每个模型的最佳 F1 分数。
• 在编码前，通过将文档分割为句子并应用 BERT 分词对输入文档进行预处理。
• 使用 Hugging Face Transformers 库，基于基础尺寸的 BERT 架构训练和评估模型。
• 通过多个参考摘要的平均最佳 F1 分数对比各模型的结果。

实验结果

研究问题

• RQ1 在越南语抽取式多文档摘要任务中，是否在越南语数据上预训练的单语 BERT 模型优于多语 BERT 模型？
• RQ2 不同多语 BERT 变体（如 Multilingual-BERT、XLM-R、DistilBERT）在越南语摘要任务中的性能如何比较？
• RQ3 在基于新闻的摘要数据集上，特定领域预训练（如新闻数据）在多大程度上能提升性能？
• RQ4 所提出的基于 BERT 的方法与先前的无监督方法和深度学习方法（如 LSA、LexRank、CNN、LSTM）相比，其 ROUGE 分数表现如何？
• RQ5 基于 BERT 的模型能否超越现有的最先进越南语摘要系统（如 CFVi-2 和 TSGVi）？

主要发现

• 单语 viBERT4news 模型在 ROUGE-1 上达到最高的 77.44%，在 ROUGE-2 上达到 52.01%，优于所有其他测试的 BERT 模型。
• 多语 BERT 模型，包括 XLM-R-base 和 DistilBERT-multilingual-cased，分别取得了 77.40% 和 77.42% 的 ROUGE-1 分数，表现具有竞争力。
• viBERT4news 模型在 ROUGE-1 上显著优于传统无监督方法（如 KL 散度法，ROUGE-1 为 60.2%）和深度学习基线模型（如 CNN，ROUGE-1 为 52.8%），得分高出超过 25 个百分点。
• viBERT4news 与最佳先前系统（CFVi-2）之间的性能差距在 ROUGE-1 上为 1.06%，在 ROUGE-2 上为 2.58%，证实了其最先进性能。
• viBERT4news 的成功归因于其在 20GB 越南语新闻数据上进行的预训练，该数据与测试数据集的领域高度匹配。
• 尽管表现优异，但没有单语模型在所有情况下均优于所有多语模型，表明预训练数据分布和模型架构是关键影响因素。