[论文解读] Automatic text extraction and character segmentation using maximally stable extremal regions

Nitigya Sambyal, Pawanesh Abrol|arXiv (Cornell University)|Aug 11, 2016

Handwritten Text Recognition Techniques参考文献 5被引用 4

一句话总结

本文提出一种无需训练的文本自动提取与字符分割方法，利用最大稳定极值区域（MSER）检测候选文本区域，随后通过阈值化和连通域分析分离出单个字符。该方法在英文和俄文文本上表现优异，即使在低质量图像中也具有较强性能，但对乌尔都语和印地语等复杂脚本的准确率有所下降，主要受脚本特异性挑战的影响。

ABSTRACT

Text detection and segmentation is an important prerequisite for many content based image analysis tasks. The paper proposes a novel text extraction and character segmentation algorithm using Maximally Stable Extremal Regions as basic letter candidates. These regions are then subjected to thresholding and thereafter various connected components are determined to identify separate characters. The algorithm is tested along a set of various JPEG, PNG and BMP images over four different character sets; English, Russian, Hindi and Urdu. The algorithm gives good results for English and Russian character set; however character segmentation in Urdu and Hindi language is not much accurate. The algorithm is simple, efficient, involves no overhead as required in training and gives good results for even low quality images. The paper also proposes various challenges in text extraction and segmentation for multilingual inputs.

研究动机与目标

• 开发一种鲁棒的、无需训练的自然场景图像中自动文本提取与字符分割方法。
• 解决在多语言场景中检测与分割文本的挑战，特别是针对具有复杂字符结构的脚本。
• 在无需监督学习或模型训练的前提下，提升在低分辨率和噪声图像中的性能。
• 识别多语言文本分割中的关键难点，特别是对印度语系和阿拉伯系脚本的挑战。
• 在多种图像格式和字符集（包括英文、俄文、印地文和乌尔都文）上评估该方法的性能。

提出的方法

• 该方法首先在输入图像中检测最大稳定极值区域（MSER），作为初始的文本区域候选。
• 对每个MSER应用自适应阈值化，以增强对比度并分离出类似文本的结构。
• 对阈值化后的区域应用连通域分析，以识别并分离出单个字符。
• 该算法利用MSER的几何与强度特征，过滤非文本区域并优化字符边界。
• 该方法在无需重新训练的前提下，统一应用于多种图像格式（JPEG、PNG、BMP）和字符集。
• 后处理步骤包括尺寸过滤和宽高比验证，以消除误检并提高分割精度。

实验结果

研究问题

• RQ1 MSER方法在不同图像质量与格式下的文本检测与字符分割效果如何？
• RQ2 该方法在多语言脚本中的泛化能力如何，特别是对具有复杂字符形状的印地文和乌尔都文？
• RQ3 无需训练的方法能否在低质量图像上达到与有监督方法相当的性能？
• RQ4 使用基于MSER的检测方法在分割非拉丁字母脚本时面临的主要挑战是什么？
• RQ5 MSER与连通域分析的结合如何提升真实场景中的分割精度？

主要发现

• 该方法在英文和俄文字符集上实现了高精度的文本提取与字符分割，即使在低质量图像中也表现良好。
• 对于印地文和乌尔都文脚本，分割准确率显著降低，主要由于字符重叠与复杂连体形式。
• 该算法计算效率高，无需训练数据或模型微调，适用于资源受限环境。
• MSER能有效捕捉在不同光照与分辨率条件下稳定的文本区域，提升方法鲁棒性。
• 阈值化与连通域分析显著改善了在噪声或杂乱场景中的字符隔离效果。
• 该方法在不同图像格式（JPEG、PNG、BMP）间表现出强泛化能力，且性能无明显下降。