[论文解读] DocSegTr: An Instance-Level End-to-End Document Image Segmentation Transformer

Sanket Biswas, Ayan Banerjee+2 more|arXiv (Cornell University)|Jan 27, 2022

Handwritten Text Recognition Techniques被引用 10

一句话总结

本文提出 DocSegTr，一种少样本、端到端的文档图像分割 Transformer 模型，可在仅需极少人工标注的情况下，实现对低资源手写文献中罕见或未知字母表的实例级识别。通过每种符号类型仅使用 5 张样本图像，并对未标注文本行应用无监督渐进式伪标签法，该模型在显著减少人工标注工作量的同时，实现了与全监督方法相当的性能。

ABSTRACT

Understanding documents with rich layouts is an essential step towards information extraction. Business intelligence processes often require the extraction of useful semantic content from documents at a large scale for subsequent decision-making tasks. In this context, instance-level segmentation of different document objects (title, sections, figures etc.) has emerged as an interesting problem for the document analysis and understanding community. To advance the research in this direction, we present a transformer-based model called \emph{DocSegTr} for end-to-end instance segmentation of complex layouts in document images. The method adapts a twin attention module, for semantic reasoning, which helps to become highly computationally efficient compared with the state-of-the-art. To the best of our knowledge, this is the first work on transformer-based document segmentation. Extensive experimentation on competitive benchmarks like PubLayNet, PRIMA, Historical Japanese (HJ) and TableBank demonstrate that our model achieved comparable or better segmentation performance than the existing state-of-the-art approaches with the average precision of 89.4, 40.3, 83.4 and 93.3. This simple and flexible framework could serve as a promising baseline for instance-level recognition tasks in document images.

研究动机与目标

• 解决在标注训练数据极度稀缺的情况下，对手写文献中罕见或未知字母表进行识别的挑战。
• 通过用自动化的伪标签生成过程替代人工边界框与符号标注，最小化人工标注负担。
• 开发一种通用的端到端模型，可在无需从头训练的情况下应用于多种不同文字系统。
• 评估渐进式无监督伪标签法在低资源数据集上提升模型性能的有效性。
• 证明少样本学习与自监督伪标签法的结合可在极少人工数据整理的前提下，实现具有竞争力的结果。

提出的方法

• 该模型采用少样本学习框架，推理时仅需每种符号类型 5 张样本图像作为支持。
• 基于 Transformer 的架构通过在特征空间中计算支持特征与查询特征之间的相似性，实现实例级检测。
• 一种注意力增强的区域提议网络（RPN）通过关注查询图像中与支持特征相关的区域，生成候选边界框。
• 伪标签生成采用渐进式策略：将高置信度预测迭代加入已标注集合，置信度阈值设为 0.4。
• 该方法通过在未标注数据上使用无监督、无需分割的伪标签法，避免了对整条文本行的人工标注。
• 模型通过真实标注样本与自动生成的伪标签数据联合进行端到端微调。

实验结果

研究问题

• RQ1 仅使用每种符号类型 5 张样本图像的少样本学习方法，能否在手写文本识别中实现高性能？
• RQ2 无监督渐进式伪标签法是否能有效减少在低资源手写文献识别中对人工标注的依赖？
• RQ3 在极端低资源设置下，所提方法与全监督及自监督基线方法相比，性能表现如何？
• RQ4 在低置信度下引入伪标签数据是否仍能提升模型性能，还是会导致性能下降？
• RQ5 所提方法是否能在无需重新训练的情况下，泛化应用于不同文字系统及连笔、交错的文本行？

主要发现

• 仅使用每种符号 5 张样本图像及无监督伪标签法，该模型在 Borg 数据集上实现了 0.24 的符号错误率（SER），接近全监督训练的性能表现。
• 该方法优于对数据需求量大的自监督模型（如 MAE 和 UP-DETR），后者即使在 50% 标注数据下，SER 仍高于 0.6，证明其在低资源场景下的适用性。
• 在 Borg 数据集上的消融实验表明，置信度阈值设为 0.4 的伪标签法可实现最优性能。
• 尽管在早期伪标签迭代中性能略有下降，但持续优化后实现稳定且有效的学习，表明对噪声标签具有鲁棒性。
• 即使源字母表与目标字母表不同，该模型仍保持强大性能，展现出跨文字系统的迁移能力。
• 该方法可实现对楔形文字与密码手稿的识别，仅需极少人工干预，显著减少标注时间和工作量。