[论文解读] A New Aligned Simple German Corpus

Vanessa Toborek, Moritz Busch+3 more|arXiv (Cornell University)|Sep 2, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了一种新的句子对齐德语单语语料库（简易德语，Leichte Sprache）与标准德语的语料，该语料库通过自动对齐七个提供 Leichte Sprache 的德语网站和一个提供 Einfache Sprache 的网站内容生成。作者采用多种对齐方法——包括基于 BERT 的嵌入和 n-gram 相似度——在人工标注的子集上实现了优异的 F1 分数（最高达 0.48），优于以往工作。该语料库与代码已根据 CC BY-SA 和 MIT 许可证公开发布。

ABSTRACT

"Leichte Sprache", the German counterpart to Simple English, is a regulated language aiming to facilitate complex written language that would otherwise stay inaccessible to different groups of people. We present a new sentence-aligned monolingual corpus for Simple German -- German. It contains multiple document-aligned sources which we have aligned using automatic sentence-alignment methods. We evaluate our alignments based on a manually labelled subset of aligned documents. The quality of our sentence alignments, as measured by F1-score, surpasses previous work. We publish the dataset under CC BY-SA and the accompanying code under MIT license.

研究动机与目标

• 解决德语文本简化领域中高质量、句子对齐的平行语料库匮乏的问题。
• 为自然语言处理研究创建一个公开可用、可复现的简易德语（Leichte Sprache）与标准德语文本语料库。
• 在该新语料库上评估并比较多种自动句子对齐技术。
• 通过神经网络与词法方法，为未来德语文本简化研究建立基准。
• 通过提供用于训练和评估简化模型的资源，支持包容性语言研究。

提出的方法

• 从七个提供 Leichte Sprache 的网站和一个提供 Einfache Sprache 的网站收集文章，形成多个文档对齐的来源。
• 应用多种自动句子对齐技术，包括词袋模型、4-gram、余弦相似度、最大匹配、CWASA、二分图匹配以及 SBERT 嵌入。
• 使用 MST-LIS 匹配算法，并设定相似度阈值为 1.5，以优化对齐质量。
• 开展两次人工评估：一次针对人工标注的句子对对齐结果，评估精确率、召回率与 F1 分数；另一次针对算法生成的匹配结果，评估分类准确率。
• 开发了图形用户界面（GUI），用于人工标注对齐结果与匹配对，以确保评估的可靠性。
• 在请求后发布最终语料库，并将完整代码库在 GitHub 上以 MIT 许可证发布。

实验结果

研究问题

• RQ1 在人工标注的简易德语与标准德语文本对子集中，哪种自动句子对齐方法能获得最高的 F1 分数？
• RQ2 对齐质量在不同来源网站之间如何变化？哪些因素影响这种差异？
• RQ3 基于神经网络嵌入的方法（如 SBERT）是否能在对齐简化德语与标准德语文本方面优于传统词法方法？
• RQ4 当由人工标注者在逐条匹配分类任务中评估时，算法生成的匹配结果准确度如何？
• RQ5 所提出的对齐流程在多大程度上可扩展至爬取并匹配更多网站？

主要发现

• 基于 SBERT 的对齐方法在人工标注的基准测试中取得了最高的 F1 分数 0.48，显著优于以往工作。
• 在第二次评估中，采用阈值为 1.5 的最大匹配策略在算法生成的匹配中实现了最高的分类准确率 0.56，表明其在算法生成匹配上的强大性能。
• 不同来源的性能差异显著，其中 beb 网站的 F1 分数最高（0.71），而 taz 网站最低（0.13），表明对齐质量具有明显的来源依赖性。
• 二分图匹配策略在分类准确率上达到 0.54，显示出在多样化文本类型上的良好泛化能力。
• 所有网站的平均 F1 分数为 0.32，表明该新语料库为未来简化模型提供了稳健的基准。
• 该语料库与代码已公开发布，支持可复现性，并可通过自动化爬取与解析扩展至新来源。