[论文解读] Deep Learning the Indus Script

Satish Palaniappan, R. Adhikari|arXiv (Cornell University)|Feb 2, 2017

Anomaly Detection Techniques and Applications参考文献 13被引用 8

一句话总结

本文提出了一种用于自动编纂未破译的印度河文字 corpus 的深度学习流水线，利用图像处理和卷积神经网络从考古印章图像中检测并分类字符。该方法在识别最频繁的印度河字符——'罐子'符号方面达到了 92% 的准确率，证明了深度学习在计算文字学中的可行性。

ABSTRACT

Standardized corpora of undeciphered scripts, a necessary starting point for computational epigraphy, requires laborious human effort for their preparation from raw archaeological records. Automating this process through machine learning algorithms can be of significant aid to epigraphical research. Here, we take the first steps in this direction and present a deep learning pipeline that takes as input images of the undeciphered Indus script, as found in archaeological artifacts, and returns as output a string of graphemes, suitable for inclusion in a standard corpus. The image is first decomposed into regions using Selective Search and these regions are classified as containing textual and/or graphical information using a convolutional neural network. Regions classified as potentially containing text are hierarchically merged and trimmed to remove non-textual information. The remaining textual part of the image is segmented using standard image processing techniques to isolate individual graphemes. This set is finally passed to a second convolutional neural network to classify the graphemes, based on a standard corpus. The classifier can identify the presence or absence of the most frequent Indus grapheme, the "jar" sign, with an accuracy of 92%. Our results demonstrate the great potential of deep learning approaches in computational epigraphy and, more generally, in the digital humanities.

研究动机与目标

• 自动化从原始考古印章图像中创建标准化语料库的繁重过程，这些图像来自尚未破译的文字。
• 解决文字学研究中缺乏标准化语料库的问题，该问题阻碍了词法句法和语义分析。
• 开发一种可扩展的、基于深度学习的系统，能够从嘈杂且磨损的印度河文字铭文中检测并分类字符。
• 证明使用深度学习进行古代文字光学字符识别的可行性，重点关注印度河文字。
• 为数字人文领域中实时、基于移动设备的古代铭文识别系统奠定基础。

提出的方法

• 流水线从图像预处理开始：灰度转换、使用 σ=3.0 的高斯平滑处理，以及基于背景均值的阈值化处理，以从杂乱背景中分离出印章区域。
• 在多尺度高斯模糊处理后应用 Canny 边缘检测，以检测印章的边界轮廓并提取印章区域。
• 使用选择性搜索生成感兴趣区域候选，通过网格搜索调整超参数，以优化文本和图像元素的检测。
• 利用卷积神经网络（CNN）对区域进行分类，分为三类：文本、非文本或两者兼具。
• 对文本区域使用形态学操作进行分层合并与修剪，以去除非文本内容。
• 在清理后的文本区域上使用标准图像处理技术进行字符分割，随后通过第二个训练有素的 CNN 对'罐子'符号或其缺失情况进行分类。

实验结果

研究问题

• RQ1 深度学习能否自动化从原始考古印章图像中创建未破译文字的标准化语料库？
• RQ2 两阶段 CNN 流水线在从嘈杂且磨损的印度河文字铭文中检测和分类字符方面的有效性如何？
• RQ3 区域提议和图像预处理技术在复杂考古图像中提升字符检测准确率方面能达到何种程度？
• RQ4 能否将仅针对单一高频字符（即'罐子'符号）训练的深度学习模型扩展为完整的印度河文字符号分类器？
• RQ5 该流水线在处理严重损坏或复杂排列的印章时具有多强的鲁棒性？

主要发现

• 区域分类阶段的文本/非文本分类器表现稳健，即使部分区域被遗漏，也能保持流水线的稳定性。
• 该流水线在测试集中对'罐子'符号（印度河文字中最常见的字符）是否存在情况的分类准确率达到 92%。
• 尽管在严重损坏的印章或位于边缘的符号上存在挑战，该流水线在大多数情况下仍能成功恢复部分文本区域。
• 选择性搜索在检测靠近印章边缘的符号时偶尔会失败，表明在复杂或磨损的铭文中，区域提议存在局限性。
• 该系统为未来可实现从摄像头拍摄图像中'读取'印度河文字的实时移动应用展示了可行性。
• 模块化、端到端的架构可适配其他具备足够训练数据的未破译文字，具备超越印度河文字的泛化能力。