[论文解读] DeepScribe: Localization and Classification of Elamite Cuneiform Signs Via Deep Learning

Edward Williams, Grace Su+4 more|arXiv (Cornell University)|Jun 2, 2023

Image Processing and 3D Reconstruction被引用 5

一句话总结

DeepScribe 提出了一种深度学习流水线，用于在古代泥板上定位和分类埃兰楔形文字符号，使用来自波塞波利斯堡垒档案的大型标注数据集。其定位 mAP 达到 0.78，分类 top-5 准确率为 0.89，证明了在自动化符号检测和为楔形文字学者提供音译建议方面具有可行性。

ABSTRACT

Twenty-five hundred years ago, the paperwork of the Achaemenid Empire was recorded on clay tablets. In 1933, archaeologists from the University of Chicago's Oriental Institute (OI) found tens of thousands of these tablets and fragments during the excavation of Persepolis. Many of these tablets have been painstakingly photographed and annotated by expert cuneiformists, and now provide a rich dataset consisting of over 5,000 annotated tablet images and 100,000 cuneiform sign bounding boxes. We leverage this dataset to develop DeepScribe, a modular computer vision pipeline capable of localizing cuneiform signs and providing suggestions for the identity of each sign. We investigate the difficulty of learning subtasks relevant to cuneiform tablet transcription on ground-truth data, finding that a RetinaNet object detector can achieve a localization mAP of 0.78 and a ResNet classifier can achieve a top-5 sign classification accuracy of 0.89. The end-to-end pipeline achieves a top-5 classification accuracy of 0.80. As part of the classification module, DeepScribe groups cuneiform signs into morphological clusters. We consider how this automatic clustering approach differs from the organization of standard, printed sign lists and what we may learn from it. These components, trained individually, are sufficient to produce a system that can analyze photos of cuneiform tablets from the Achaemenid period and provide useful transliteration suggestions to researchers. We evaluate the model's end-to-end performance on locating and classifying signs, providing a roadmap to a linguistically-aware transliteration system, then consider the model's potential utility when applied to other periods of cuneiform writing.

研究动机与目标

• 解决楔形文字转录中的瓶颈问题，目前需要专家楔形文字学者花费数天时间手动标注和转录每份文本。
• 开发一种计算机视觉流水线，自动化符号定位与分类，以减少楔形文字研究中的手工劳动。
• 利用来自波塞波利斯堡垒档案的大型、精心整理的数据集，包含 5,000 幅标注的泥板图像和 100,000 个楔形文字符号边界框。
• 通过结合目标检测和符号分类模型，使研究人员能够获得机器生成的音译建议。
• 探索将该模型迁移至其他楔形文字文献库的潜力，包括乌尔第三王朝苏美尔文等非埃兰语书写系统。

提出的方法

• 采用 RetinaNet 作为目标检测器，用于在泥板图像中定位楔形文字符号，基于 100,000 个标注的边界框进行训练。
• 使用基于 ResNet 的分类器（ResNet18 和 ResNet50）预测符号身份，以 top-5 准确率作为主要评估指标。
• 实施模块化流水线：首先检测符号位置，然后使用训练好的分类器对每个检测到的符号进行分类。
• 应用形态聚类方法自动分组楔形文字符号，并与传统印刷版符号列表进行比较。
• 使用顺序 RANSAC 从预测的热点位置和 top-1 符号标签重建文本行，以评估字符错误率（CER）。
• 端到端训练模型，并在符号定位、分类和序列重建方面评估性能。

Figure 1. PFA Tablet Image with Annotated Hotspots viewed in OCHRE

实验结果

研究问题

• RQ1 深度学习模型能否在使用静态单光源摄影的碎片化、三维泥板上实现高精度的楔形文字符号定位？
• RQ2 纯视觉方法在符号分类上的准确性如何？在重建完整文本时，top-1 准确率的局限性是什么？
• RQ3 自动学习的楔形文字符号形态聚类结果与楔形文字研究中使用的传统印刷版符号列表相比如何？
• RQ4 在埃兰楔形文字符号上训练的检测器能否迁移到其他楔形文字文献库，例如乌尔第三王朝苏美尔文泥板？
• RQ5 语言学监督在提升符号预测准确率以及实现端到端文本重建方面发挥什么作用？

主要发现

• RetinaNet 目标检测器在符号定位任务中达到 0.78 的平均平均精度（mAP），表明其在复杂且碎片化的泥板图像上表现优异。
• ResNet 分类器在 top-5 符号分类准确率上达到 0.89，证明即使对稀有或模糊的符号也能实现高质量预测。
• 端到端流水线在 top-5 分类准确率上达到 0.80，表明模块化方法在符号建议任务中具有有效性。
• 重建文本序列的字符错误率（CER）为 0.683，表明当前流水线在缺乏语言学校正的情况下无法可靠重建完整文本。
• top-1 分类准确率仅为 0.563，凸显了引入语言学上下文以减少符号预测错误的必要性。
• 初步实验表明，该检测器可在乌尔第三王朝苏美尔文泥板上定位符号，表明其在不同楔形文字时期之间具有迁移潜力，尽管书写系统和风格存在差异。

Figure 2. Histogram of Sign Frequencies