[论文解读] Accurate Fine-grained Layout Analysis for the Historical Tibetan Document Based on the Instance Segmentation

Penghai Zhao, Weilan Wang+3 more|arXiv (Cornell University)|Oct 15, 2021

Handwritten Text Recognition Techniques参考文献 43被引用 13

一句话总结

本文提出了一种基于SOLOv2的改进实例分割框架，用于历史藏文文献中的细粒度子行级版面分析，解决了笔画接触、污渍和间距不规则等挑战。通过引入半自动标注流程并针对Kangyur文献特征优化主干网络，该方法在自建数据集上实现了72.7%的平均精度（Average Precision），在该细粒度版面分析任务中达到当前最先进性能。

ABSTRACT

Accurate layout analysis without subsequent text-line segmentation remains an ongoing challenge, especially when facing the Kangyur, a kind of historical Tibetan document featuring considerable touching components and mottled background. Aiming at identifying different regions in document images, layout analysis is indispensable for subsequent procedures such as character recognition. However, there was only a little research being carried out to perform line-level layout analysis which failed to deal with the Kangyur. To obtain the optimal results, a fine-grained sub-line level layout analysis approach is presented. Firstly, we introduced an accelerated method to build the dataset which is dynamic and reliable. Secondly, enhancement had been made to the SOLOv2 according to the characteristics of the Kangyur. Then, we fed the enhanced SOLOv2 with the prepared annotation file during the training phase. Once the network is trained, instances of the text line, sentence, and titles can be segmented and identified during the inference stage. The experimental results show that the proposed method delivers a decent 72.7% average precision on our dataset. In general, this preliminary research provides insights into the fine-grained sub-line level layout analysis and testifies the SOLOv2-based approaches. We also believe that the proposed methods can be adopted on other language documents with various layouts.

研究动机与目标

• 为解决历史藏文文献（尤其是Kangyur）中缺乏有效的细粒度版面分析方法的问题，特别是针对笔画接触、污渍和间距可变等挑战。
• 克服传统版面分析流程依赖级联文本行分割所带来的累积误差问题。
• 通过结合半自动标注与人工修正，开发一种动态且准确的数据集构建方法，以加速复杂文档版面的标注过程。
• 通过将主干网络适配Kangyur特有的视觉特征，提升SOLOv2在历史藏文文献图像上的性能表现。
• 实现端到端、无需后处理的精确子行级实例分割，直接支持下游识别任务。

提出的方法

• 采用半自动标注流程，结合传统文本行分割与人工修正，生成细粒度的行级标注，共定义10个类别：line1至line8、ltitle和rtitle。
• 通过修改主干网络结构，增强SOLOv2实例分割网络，以更好地捕捉具有斑驳背景、笔画接触和褪色文字的历史藏文文献特征。
• 在构建的数据集上以2496×800的输入分辨率端到端训练增强版SOLOv2，并采用'10-4'轮廓类型（10倍膨胀，4倍腐蚀）以获得最佳性能。
• 未应用任何预处理或后处理策略，确保模型直接从原始文档图像中学习分割能力。
• 模型预测文本行、句子和标题在子行级别的实例掩码与类别标签，实现对重叠或接触组件的精确分离。
• 通过平均精度（AP）、AP50、AP75及小提琴图评估性能，以分析在不同IoU阈值下的鲁棒性与一致性。

实验结果

研究问题

• RQ1 基于实例分割的方法能否在具有复杂视觉瑕疵（如污渍和笔画接触）的历史藏文文献中实现准确的子行级版面分析？
• RQ2 半自动标注流程在加速稀有语言历史文献的细粒度行级标注创建方面有多高效？
• RQ3 通过专用主干网络增强SOLOv2后，其在Kangyur数据集上的性能是否优于标准实例分割模型？
• RQ4 在具有挑战性的版面配置下，该方法在AP和鲁棒性方面相较于Mask R-CNN、YOLACT和SOLO等现有模型的提升程度如何？
• RQ5 尽管仅在藏文文献上进行训练，该方法是否具备向其他具有复杂布局的语言泛化的能力？

主要发现

• 当输入分辨率为2496×800且采用'10-4'轮廓类型时，该方法在PKLAD测试集上实现了72.7%的平均精度（AP），优于所有对比方法。
• 采用X-101-HRFPN主干网络的增强版SOLOv2实现了72.7%的AP、93.6%的AP50和84.6%的AP75，相较于Mask R-CNN、YOLACT和SOLO表现出更优的性能与鲁棒性。
• 小提琴图分析显示，该方法的AP值分布比SOLOv2更集中，表明其在不同IoU阈值下具有更强的鲁棒性。
• 可视化结果证实，模型能准确分割接触组件，并在存在污渍和弯曲线条的情况下仍能精确贴合文本边缘。
• 该方法成功避免将拉丁字母误识别为文本区域，显示出在复杂版面场景下的强泛化能力。
• 失败案例包括部分误分割与漏检，主要源于较低的可视化阈值，该设计在视觉清晰度与分割精度之间进行了权衡。