[论文解读] An open dataset for the evolution of oracle bone characters: EVOBC

Haisu Guan, Jinpeng Wan+7 more|arXiv (Cornell University)|Jan 23, 2024

Image Processing and 3D Reconstruction被引用 4

一句话总结

本论文介绍了EVOBC，这是一个开放的、大规模的数据集，包含229,170张图像，涵盖从甲骨文（公元前15世纪）到隶书（公元220年）的六个历史阶段的汉字演变。该数据集支持基于人工智能的汉字演变研究，展示了在图像分类任务中的优异性能（使用Swin Transformer v2模型达到86.66%的top-1准确率），并在基于分类和扩散模型的图像生成方法下，实现了甲骨文破译模拟的有效基线结果。

ABSTRACT

The earliest extant Chinese characters originate from oracle bone inscriptions, which are closely related to other East Asian languages. These inscriptions hold immense value for anthropology and archaeology. However, deciphering oracle bone script remains a formidable challenge, with only approximately 1,600 of the over 4,500 extant characters elucidated to date. Further scholarly investigation is required to comprehensively understand this ancient writing system. Artificial Intelligence technology is a promising avenue for deciphering oracle bone characters, particularly concerning their evolution. However, one of the challenges is the lack of datasets mapping the evolution of these characters over time. In this study, we systematically collected ancient characters from authoritative texts and websites spanning six historical stages: Oracle Bone Characters - OBC (15th century B.C.), Bronze Inscriptions - BI (13th to 221 B.C.), Seal Script - SS (11th to 8th centuries B.C.), Spring and Autumn period Characters - SAC (770 to 476 B.C.), Warring States period Characters - WSC (475 B.C. to 221 B.C.), and Clerical Script - CS (221 B.C. to 220 A.D.). Subsequently, we constructed an extensive dataset, namely EVolution Oracle Bone Characters (EVOBC), consisting of 229,170 images representing 13,714 distinct character categories. We conducted validation and simulated deciphering on the constructed dataset, and the results demonstrate its high efficacy in aiding the study of oracle bone script. This openly accessible dataset aims to digitalize ancient Chinese scripts across multiple eras, facilitating the decipherment of oracle bone script by examining the evolution of glyph forms.

研究动机与目标

• 为解决缺乏全面、精心整理的数据集以研究甲骨文（OBC）在历史时期演变的现状。
• 促进人工智能辅助破译尚未破译的甲骨文字符的研究，尽管现存有4,500个甲骨文字符，但其中大部分仍未知。
• 构建一个高质量、多时期的数据库，捕捉从甲骨文到现代汉字的形态演变过程。
• 通过使用深度学习模型进行图像分类和新颖的破译模拟任务，验证数据集的实用性。
• 公开所有数据、代码和训练脚本，以确保可复现性，并支持计算铭文学未来的研究。

提出的方法

• 从权威书籍和在线资源库中系统性地收集了六个历史阶段（OBC、BI、SS、SAC、WSC、CS）的229,170张字符图像。
• 自动化数据处理流水线，实现从扫描文本和数字档案中提取图像、去噪、对齐及自动标注。
• 构建了一个统一的数据集，包含13,714个不同的字符类别，完整保留了时间维度上的演化轨迹。
• 使用最先进模型（ResNet-101和Swin Transformer v2）对数据集进行图像分类评估。
• 提出了一项新颖的“甲骨文字符破译模拟”任务，采用两种基线方法：图像分类和条件扩散图像生成模型。
• 训练了一个条件扩散模型，从甲骨文输入生成演化后的字符形态，并与真实标签进行对比。

实验结果

研究问题

• RQ1 大规模、多时期的古代汉字数据集是否能有效支持基于人工智能的汉字演变研究？
• RQ2 深度学习模型在高精度下对甲骨文字符及其演化形式的分类能力如何？
• RQ3 图像生成模型是否可用于通过预测其演化形态来模拟未破译甲骨文字符的破译过程？
• RQ4 EVOBC数据集在揭示历史书体阶段间形态模式方面的有效性如何？
• RQ5 该数据集能否作为未来人工智能辅助破译古代文字的可靠基准？

主要发现

• 在验证集上，EVOBC数据集使用ResNet-101模型达到85.56%的top-1准确率，使用Swin Transformer v2模型达到86.66%的top-1准确率，证实了标注质量高且数据集可靠。
• 在甲骨文破译模拟任务中，图像分类基线模型达到16.7%的top-1准确率和55.8%的top-20准确率，证明了人工智能辅助破译的可行性。
• 条件扩散模型成功生成了合理的演化字符形态，定性结果显示在多个测试案例中与真实标签高度一致。
• 该数据集包含229,170张图像，涵盖13,714个不同的字符类别，其中90,882张来自书籍，138,288张来自在线来源，确保了广泛的覆盖范围和多样性。
• 该数据集支持从甲骨文到现代汉字的演化模式研究，六个历史阶段之间的形态演化轨迹清晰可辨。
• 所有数据处理脚本、训练代码和模型权重均已公开发布于GitHub，支持完全可复现性及社区扩展。