[论文解读] Latin BERT: A Contextual Language Model for Classical Philology

David Bamman, Patrick J. Burns|arXiv (Cornell University)|Sep 21, 2020

Natural Language Processing Techniques参考文献 46被引用 28

一句话总结

本文介绍了 Latin BERT，一种在 6.427 亿个词的拉丁语文本语料上预训练的上下文语言模型，时间跨度从公元前 200 年至现今。该模型在词性标注任务中达到最先进性能，支持词义消歧与文本补全，并通过上下文最近邻实现语义感知搜索，相关模型与数据已公开发布，供学术研究使用。

ABSTRACT

We present Latin BERT, a contextual language model for the Latin language, trained on 642.7 million words from a variety of sources spanning the Classical era to the 21st century. In a series of case studies, we illustrate the affordances of this language-specific model both for work in natural language processing for Latin and in using computational methods for traditional scholarship: we show that Latin BERT achieves a new state of the art for part-of-speech tagging on all three Universal Dependency datasets for Latin and can be used for predicting missing text (including critical emendations); we create a new dataset for assessing word sense disambiguation for Latin and demonstrate that Latin BERT outperforms static word embeddings; and we show that it can be used for semantically-informed search by querying contextual nearest neighbors. We publicly release trained models to help drive future work in this space.

研究动机与目标

• 开发一种专为拉丁语设计的上下文语言模型，拉丁语是一种历史语言，其自然语言处理资源有限。
• 提升在拉丁语中核心自然语言处理任务（如词性标注与词义消歧）上的性能。
• 通过支持计算方法实现文本校订与互文性检测，助力传统古典学术研究。
• 创建并发布一个用于评估拉丁语词义消歧的新数据集。
• 展示上下文嵌入在语义搜索与最近邻检索中于古典文本中的实用性。

提出的方法

• 在来自 Perseus、互联网档案馆与《教父文献集》等来源的 6.427 亿词拉丁语文本语料上，预训练一个基于 BERT 的模型。
• 在通用依存句法树库数据集上微调模型，在三个拉丁语树库上实现词性标注的最先进性能。
• 基于 Lewis 和 Short 的《拉丁语词典》创建一个新的词义消歧数据集，用于评估模型性能。
• 利用 BERT 最后一层的上下文表示，通过余弦相似度计算语义相似度，实现文本语境中的最近邻搜索。
• 将模型应用于文本补全任务，包括预测缺失词汇，并支持古典手稿中的校订工作。
• 通过 GitHub 向研究社区发布训练好的模型、相关代码与数据，以确保可复现性并促进进一步开发。

实验结果

研究问题

• RQ1 像 BERT 这类上下文语言模型是否能在拉丁语词性标注任务中达到最先进性能，超越多语言与静态词嵌入基线？
• RQ2 与静态词嵌入相比，Latin BERT 在拉丁语词义消歧方面能提升多少？
• RQ3 Latin BERT 通过上下文最近邻检索识别语义相似短语或文段的效率如何？
• RQ4 Latin BERT 是否能通过估算古典手稿中缺失或校订词汇的概率，支持文本批评工作？
• RQ5 除了标准自然语言处理任务外，上下文嵌入在古典训诂学中还有哪些实际应用？

主要发现

• Latin BERT 在所有三个通用依存句法树库的拉丁语词性标注任务中均达到最先进性能，优于以往模型。
• 该模型在基于 Lewis 和 Short 《拉丁语词典》构建的新数据集上，显著提升了词义消歧的准确率，超越静态词嵌入方法。
• 使用 Latin BERT 的上下文最近邻搜索成功检索出语义相似的短语，包括 'audentes fortuna iuvat' 的不同变体形式。
• 模型在文本补全任务中表现优异，语义相关短语（如 'audentes' 与 'audaces'）之间的余弦相似度得分高达 0.834–0.837。
• 模型的上下文表示能够捕捉词汇变化与语义相似性，即使在形态与句法差异较大的情况下亦然。
• 公开发布训练好的模型、代码与数据集，预计将推动拉丁语自然语言处理与数字古典学研究的进一步发展。