[论文解读] Visual Script and Language Identification

Anguelos Nicolaou, Andrew D. Bagdanov+2 more|arXiv (Cornell University)|Jan 8, 2016

Handwritten Text Recognition Techniques参考文献 6被引用 4

一句话总结

本文提出一种基于手工设计的SRS-LBP纹理特征与全连接神经网络的深度学习方法，用于视觉脚本与语言识别。通过利用浅层激活作为学习度量，该方法在手写文本语言识别任务上达到最先进性能，在视频文本脚本识别任务上接近最先进水平，由于特征泛化能力更强且对领域偏移更具鲁棒性，某些情况下优于深度CNN。

ABSTRACT

In this paper we introduce a script identification method based on hand-crafted texture features and an artificial neural network. The proposed pipeline achieves near state-of-the-art performance for script identification of video-text and state-of-the-art performance on visual language identification of handwritten text. More than using the deep network as a classifier, the use of its intermediary activations as a learned metric demonstrates remarkable results and allows the use of discriminative models on unknown classes. Comparative experiments in video-text and text in the wild datasets provide insights on the internals of the proposed deep network.

研究动机与目标

• 开发一种在多种文本模态（包括视频文本、场景文本和手写文本）下均能稳定工作的鲁棒视觉脚本与语言识别系统。
• 解决在多种语言使用相同脚本时，仅通过视觉识别语言的挑战，且不依赖OCR或语言学模型。
• 探索使用深度神经网络激活作为学习度量用于分类，以提升对未知类别的泛化能力。
• 证明手工纹理特征与浅层深度网络的结合可在某些视觉文本识别场景中超越深度CNN。

提出的方法

• 预处理阶段将RGB图像转换为主成分通道，并在中心带亮度低于平均值时翻转图像，以标准化前景-背景对比度。
• 使用半径为3、采样点数为8的SRS-LBP（稀疏径向采样-局部二值模式）特征提取器，捕捉文本区域的局部纹理模式。
• 在SRS-LBP特征上训练一个全连接深度神经网络（Deep MLP），并采用Dropout正则化防止过拟合。
• 将Deep MLP第一隐藏层的激活值作为k-NN分类的学度量，相比直接使用输出层分类，展现出更优的泛化性能。
• 该方法在浅层特征上应用k-NN，其性能在多个数据集上持续优于最终层分类以及在深层特征上进行的k-NN分类。
• 该方法在两个基准数据集上进行评估：CVSI（视频文本）与SIW-10（手写文本），并通过消融实验与数据增强验证特征与网络结构的选择。

实验结果

研究问题

• RQ1 手工设计的纹理特征与深度神经网络结合，是否能在视觉脚本与语言识别任务中实现最先进性能？
• RQ2 将深度网络的浅层激活作为学习度量，是否能提升分类性能与泛化能力，尤其是在未见类别上的表现？
• RQ3 全连接网络在脚本与语言识别任务中的性能与CNN相比如何，特别是在视频文本与场景文本任务中？
• RQ4 SRS-LBP特征在不同文本模态（如手写文本与视频文本）之间具有多大程度的泛化能力？
• RQ5 是否可以仅依赖视觉纹理模式，而无需OCR或语言学模型，实现有效的视觉语言识别？

主要发现

• 所提方法在SIW-10数据集上实现了92.78%的视觉语言识别准确率，代表该任务的最先进性能。
• 在CVSI数据集上，该方法在视频文本脚本识别任务中达到接近最先进性能，优于多个基于CNN的方法。
• 在Deep MLP第一隐藏层激活值上进行k-NN分类，性能优于最终层分类以及在深层特征上进行的k-NN分类，证明浅层特征作为学习度量具有显著价值。
• 仅使用SRS-LBP特征（即使搭配简单SVM）即获得高准确率（在SIW-10上达90.38%），表明该特征表示具有高度判别性。
• 在多次训练运行中均表现出一致的收敛行为且无过拟合现象，表明Dropout正则化有效稳定了训练过程并提升了泛化能力。
• 在增强后的SIW-10数据集上的消融实验表明，网络早期层产生的特征比深层更通用、更具迁移性，验证了本方法的核心假设。