[论文解读] A Corpus for Automatic Readability Assessment and Text Simplification of German

Alessia Battisti, Sarah Ebling|arXiv (Cornell University)|Sep 19, 2019

Text Readability and Simplification被引用 9

一句话总结

本文提出一个大规模德语语料库，约包含211,000个句子，用于自动可读性评估与文本简化，其独特之处在于整合了文本结构、排版和图像的元数据。该语料库使机器学习模型能够利用非语言特征——如段落数、字体类型和图像位置——实证表明这些元素可预测文本复杂度，为多语言自然语言处理在可访问性领域的研究带来新颖贡献。

ABSTRACT

In this paper, we present a corpus for use in automatic readability assessment and automatic text simplification of German. The corpus is compiled from web sources and consists of approximately 211,000 sentences. As a novel contribution, it contains information on text structure, typography, and images, which can be exploited as part of machine learning approaches to readability assessment and text simplification. The focus of this publication is on representing such information as an extension to an existing corpus standard.

研究动机与目标

• 为解决德语自动可读性评估与文本简化资源匮乏的问题。
• 开发一个整合非语言特征（文本结构、排版和图像信息）的语料库，这些特征此前在机器学习模型中未被充分使用。
• 提供一种标准化、带标注的语料库，采用TCF格式，以支持德语自然语言处理的可复现研究。
• 通过实证方法验证结构与视觉特征对文本复杂度的预测能力。
• 支持未来基于神经机器翻译的德语文本简化系统开发。

提出的方法

• 语料库从网络来源收集，包括单语德语文本和并行简化德语文本。
• 通过文档布局分析与解析启发式方法提取文本结构元数据（段落、行数、句号分隔）。
• 从PDF和HTML源文件中提取排版特征（字体名称、样式、大小、粗细、嵌入状态）。
• 利用布局分析与OCR分析工具对图像元数据（位置、尺寸、内容）进行标注。
• 使用NLP工具（如ParZu、TreeTagger和Zmorge）自动生成语言学标注（词性、词干、依存句法分析、词形变化）。
• 所有数据均以TCF（文本语料库格式）标准编码，以确保互操作性与可扩展性。

实验结果

研究问题

• RQ1 非语言特征（如文本结构、排版和图像位置）是否能预测德语中文本的复杂度？
• RQ2 段落数、字体粗细和图像密度等特征与德语文本可读性水平的相关性如何？
• RQ3 与仅使用语言学特征相比，结构与视觉特征在可读性评估机器学习模型中的提升程度如何？
• RQ4 该语料库能否支持基于神经机器翻译的德语文本简化系统开发？
• RQ5 该语料库中是否存在多个、不同的简化层级，且能否通过结构元数据检测到？

主要发现

• 该语料库包含6,217篇文档，共210,966个句子和250万个词素，其中包括378对并行的单语/简化德语文本。
• 语料库中的简化德语文本词汇量减少51%（33,384种 vs. 16,352种），与其它简化语料库中的减少程度相当。
• 通过无监督学习的实证验证表明，结构特征（如图像数量、段落数、行数及特定字体的词数）可有效预测文本难度等级。
• 布局与视觉元数据的引入，为可读性建模提供了超越传统语言学特征的新信号。
• 该语料库支持未来在神经机器翻译基础上的文本简化研究，尽管目前缺少句子对齐，将通过CATS工具补充。
• 这是首个通过实证证据证明布局与视觉特征可预测德语文本复杂度的研究，验证了可访问性研究中的理论主张。