[论文解读] Recognizing Cuneiform Signs Using Graph Based Methods

Nils M. Kriege, Matthias Fey+3 more|arXiv (Cornell University)|Feb 16, 2018

Graph Theory and Algorithms参考文献 18被引用 13

一句话总结

本文提出了两种基于图的楔形文字字符识别方法：基于图编辑距离（GED）的最近邻分类器和用于图上深度学习的SplineCNN。SplineCNN在数据增强下实现了高达95.14%的准确率，并具备高效的推理性能，而GED方法虽准确率较高但预测成本昂贵；两种方法在训练样本有限的真实楔形文字数据集上均表现出有效性。

ABSTRACT

The cuneiform script constitutes one of the earliest systems of writing and is realized by wedge-shaped marks on clay tablets. A tremendous number of cuneiform tablets have already been discovered and are incrementally digitalized and made available to automated processing. As reading cuneiform script is still a manual task, we address the real-world application of recognizing cuneiform signs by two graph based methods with complementary runtime characteristics. We present a graph model for cuneiform signs together with a tailored distance measure based on the concept of the graph edit distance. We propose efficient heuristics for its computation and demonstrate its effectiveness in classification tasks experimentally. To this end, the distance measure is used to implement a nearest neighbor classifier leading to a high computational cost for the prediction phase with increasing training set size. In order to overcome this issue, we propose to use CNNs adapted to graphs as an alternative approach shifting the computational cost to the training phase. We demonstrate the practicability of both approaches in an extensive experimental comparison regarding runtime and prediction accuracy. Although currently available annotated real-world data is still limited, we obtain a high accuracy using CNNs, in particular, when the training set is enriched by augmented examples.

研究动机与目标

• 为应对在标注训练数据有限的情况下自动化楔形文字字符识别的挑战。
• 开发一种鲁棒的基于图的模型，以捕捉楔形文字字符的结构与几何特征。
• 比较基于GED的方法与基于深度学习的方法在准确率与计算效率之间的权衡。
• 在不同规模的训练集和数据增强条件下，评估模型在真实楔形文字数据集上的性能。

提出的方法

• 构建图模型，其中节点表示楔形组件，边表示它们之间的空间或几何关系。
• 提出一种定制的图编辑距离（GED）度量方法，基于顶点和边的编辑操作，用于计算楔形文字字符图之间的相似性。
• 引入启发式方法以高效近似GED，包括APX1和APX2，其中APX2通过引入排列边提升了准确率。
• 将SplineCNN适配于图结构化的楔形文字数据，利用B样条核处理节点特征与图拓扑。
• 在SplineCNN训练过程中应用数据增强，通过随机仿射变换生成多样化的训练样本。
• 使用GED作为距离度量实现最近邻分类器，预测时间随训练集大小线性增长。

实验结果

研究问题

• RQ1 尽管计算成本较高，基于定制启发式的图编辑距离能否在楔形文字字符分类中实现高准确率？
• RQ2 像SplineCNN这样的几何深度学习方法能否在小规模楔形文字数据集上实现良好泛化，尤其是在数据增强条件下？
• RQ3 随着训练集规模增大，基于GED与基于CNN的方法在运行时间特性上如何比较？
• RQ4 排列边与几何上下文在多大程度上影响分类性能？

主要发现

• SplineCNN在完整数据集上实现了最高的平均准确率95.14%，优于所有基于GED的方法。
• 在数据增强条件下，SplineCNN达到95.14%的准确率，显著高于未增强训练的90.23%（在50/50划分下）。
• 精确GED方法达到93.40%的准确率，而APX2（含排列边）比APX1（无排列边）高出1.79个百分点，凸显了结构上下文的重要性。
• SplineCNN在完整数据集上的训练仅耗时6.66秒，推理时间仅为13.99毫秒，展现出预测阶段的极高效率。
• 基于GED的预测时间随训练集规模线性增长，在100%训练集规模下达到222.2毫秒，表明其在大规模数据集上不如SplineCNN可扩展。
• 由于测试集较小（约27个图），不同测试划分间的准确率波动较大（例如±3.70个百分点的跳跃），表明对数据划分选择较为敏感，尤其在小测试集情况下。