[论文解读] An open diachronic corpus of historical Spanish: annotation criteria and automatic modernisation of spelling

Felipe Sánchez-Martínez, Isabel Martinez-Sempere+2 more|arXiv (Cornell University)|Jun 16, 2013

Natural Language Processing Techniques参考文献 30被引用 10

一句话总结

本论文介绍了 impact-es 历史西班牙语历时语料库，这是一个开放获取的语料库，包含107篇文本（1481–1748年），总词量超过800万词，已标注词形、词性及现代拼写形式。该研究提出一种统计机器翻译方法，用于自动实现拼写现代化，其字符错误率远低于监督式现代化方法，从而支持对西班牙语历时语言学的深入研究。

ABSTRACT

The IMPACT-es diachronic corpus of historical Spanish compiles over one hundred books --containing approximately 8 million words-- in addition to a complementary lexicon which links more than 10 thousand lemmas with attestations of the different variants found in the documents. This textual corpus and the accompanying lexicon have been released under an open license (Creative Commons by-nc-sa) in order to permit their intensive exploitation in linguistic research. Approximately 7% of the words in the corpus (a selection aimed at enhancing the coverage of the most frequent word forms) have been annotated with their lemma, part of speech, and modern equivalent. This paper describes the annotation criteria followed and the standards, based on the Text Encoding Initiative recommendations, used to the represent the texts in digital form. As an illustration of the possible synergies between diachronic textual resources and linguistic research, we describe the application of statistical machine translation techniques to infer probabilistic context-sensitive rules for the automatic modernisation of spelling. The automatic modernisation with this type of statistical methods leads to very low character error rates when the output is compared with the supervised modern version of the text.

研究动机与目标

• 创建一个大规模、开放获取的历史西班牙语历时语料库，以支持语言学研究。
• 为早期现代西班牙语文本中的词形、词性及现代拼写制定标准化标注准则。
• 利用统计机器翻译技术实现拼写现代化的自动化处理。
• 支持将历史语言资源整合至开源自然语言处理工具（如 FreeLing）中。
• 通过全面的开放许可框架，提升历史文本的OCR准确率与可及性。

提出的方法

• 语料库由107篇早期印刷的西班牙语文本（1481–1748年）构成，数据来源为真实语料集及米格尔·德·塞万提斯虚拟图书馆。
• 文本采用文本编码倡议（TEI）标准进行编码，以确保互操作性与长期保存。
• 约7%的词汇经人工标注词形、词性及现代拼写形式。
• 训练统计机器翻译模型，从标注数据中推断上下文敏感的拼写现代化规则。
• 通过将模型输出与监督式现代化基线进行比较，以字符错误率进行评估。
• 配套词典将10,000个高频词形与其在语料库中的实例关联，提升词形与词汇分析能力。

实验结果

研究问题

• RQ1 如何系统性地构建一个大规模、开放获取的历史西班牙语历时语料库，并确保标注标准的一致性？
• RQ2 统计机器翻译技术在多大程度上能够实现对早期现代西班牙语的准确、上下文敏感的拼写现代化？
• RQ3 与金标准监督式现代化相比，自动现代化的字符错误率是多少？
• RQ4 如何有效将历时语料库整合至开源自然语言处理工具包中，以支持历史语言处理？
• RQ5 标准化、开放获取的语言学资源对提升历史文本OCR准确率与可及性有何影响？

主要发现

• impact-es 语料库包含107篇历史西班牙语文本（1481–1748年），总词量约800万词，其中7%的词汇已标注词形、词性及现代拼写形式。
• 语料库及其配套词典采用知识共享署名-非商业性使用-相同方式共享3.0许可协议发布，支持在语言学研究中广泛再利用。
• 用于拼写现代化的统计机器翻译方法相较于监督式现代化基线，实现了极低的字符错误率。
• 标注数据与词典与开源自然语言处理工具（如 FreeLing）兼容，便于集成至下游语言处理流程。
• 该语料库是首个开放获取的历史西班牙语历时语料库，相较于受限的网络可访问语料库（如 corde 与 Corpus del Español），显著提升了可及性。
• 本项目在OCR方面的改进，包括增强的版面检测与字符识别，使历史文献的词召回率最高提升了30%。