[论文解读] A Novel Approach to OCR using Image Recognition based Classification for Ancient Tamil Inscriptions in Temples

Lalitha Giridhar, Aishwarya Dharani and+1 more|arXiv (Cornell University)|Jul 4, 2019

Handwritten Text Recognition Techniques被引用 15

一句话总结

该论文提出了一种用于古代泰米尔铭文（7至12世纪）的新型OCR系统，采用在手工整理的裁剪寺庙铭文图像上训练的二维卷积神经网络（CNN）。经过基于Otsu的二值化处理后，CNN对字符进行分类，结果通过pytesseract与TTS输出整合；该系统在测试集上实现了77.7%的识别准确率。

ABSTRACT

Recognition of ancient Tamil characters has always been a challenge for epigraphers. This is primarily because the language has evolved over the several centuries and the character set over this time has both expanded and diversified. This proposed work focuses on improving optical character recognition techniques for ancient Tamil script which was in use between the 7th and 12th centuries. While comprehensively curating a functional data set for ancient Tamil characters is an arduous task, in this work, a data set has been curated using cropped images of characters found on certain temple inscriptions, specific to this time as a case study. After using Otsu thresholding method for binarization of the image a two dimensional convolution neural network is defined and used to train, classify and, recognize the ancient Tamil characters. To implement the optical character recognition techniques, the neural network is linked to the Tesseract using the pytesseract library of Python. As an added feature, the work also incorporates Google's text to speech voice engine to produce an audio output of the digitized text. Various samples for both modern and ancient Tamil were collected and passed through the system. It is found that for Tamil inscriptions studied over the considered time period, a combined efficiency of 77.7 percent can be achieved.

研究动机与目标

• 为解决古代泰米尔文字在数个世纪中显著演变且缺乏标准化数字资源的挑战。
• 构建一个涵盖7至12世纪的寺庙铭文裁剪字符的功能性数据集。
• 利用基于深度学习的图像分类方法提升历史泰米尔文字的OCR性能。
• 集成文本转语音功能，实现数字化铭文的可访问性输出。
• 在现代与古代泰米尔文字样本上评估系统的性能。

提出的方法

• 从7至12世纪的寺庙铭文中提取的古代泰米尔字符裁剪图像中，手工整理出一个定制数据集。
• 采用Otsu阈值化方法进行图像二值化，以增强对比度并为分类做准备。
• 设计并训练了一个二维卷积神经网络（2D-CNN），用于对单个泰米尔字符进行分类。
• 通过pytesseract Python库将训练好的CNN模型与Tesseract OCR引擎接口，实现端到端OCR处理。
• 集成Google的文本转语音引擎，从识别出的文本生成音频输出。
• 在现代与古代泰米尔文字样本上对系统进行评估，以衡量识别准确率。

实验结果

研究问题

• RQ1 基于深度学习的图像分类模型能否可靠地识别来自历史铭文的古代泰米尔字符？
• RQ2 基于Otsu的图像预处理在提升退化寺庙铭文字符识别准确率方面有多有效？
• RQ3 结合CNN分类与Tesseract的混合OCR系统在古代泰米尔文字上的性能如何？
• RQ4 该系统在多大程度上能够应对7至12世纪不同铭文中字体与书写风格的差异性？
• RQ5 文本转语音的集成在提升碑铭研究与文化遗产保护的可访问性方面有何作用？

主要发现

• 所提出的OCR系统在7至12世纪的古代泰米尔铭文上实现了77.7%的综合识别准确率。
• Otsu阈值化显著提升了图像质量，为后续CNN分类提供了更好的对比度并减少了噪声。
• 通过pytesseract将2D-CNN与Tesseract集成，实现了有效的端到端文本识别。
• 系统成功利用Google的文本转语音引擎生成音频输出，实现了对数字化铭文的多模态访问。
• 尽管历史手写体标注数据稀缺，但从寺庙铭文中整理的裁剪字符数据集在训练与评估中表现可行。
• 该方法在大规模碑铭数字化方面展示了可行性，尤其适用于具有高度历史差异性的文字。