[论文解读] LGPMA: Complicated Table Structure Recognition with Local and Global Pyramid Mask Alignment

Qiao Liang, Zaisheng Li+7 more|arXiv (Cornell University)|May 13, 2021

Handwritten Text Recognition Techniques参考文献 40被引用 8

一句话总结

LGPMA 通过融合局部与全局金字塔掩码学习，提出了一种新颖的复杂表格结构识别框架，以生成更精确的对齐边界框，包括具有挑战性的空单元格。通过联合优化局部文本区域检测与全局单元格布局分割，并引入重打分模块，LGPMA 在公开基准上实现了最先进性能，对齐边界框检测提升 3.1%，TEDS-Struc 提升 0.59 分。

ABSTRACT

Table structure recognition is a challenging task due to the various structures and complicated cell spanning relations. Previous methods handled the problem starting from elements in different granularities (rows/columns, text regions), which somehow fell into the issues like lossy heuristic rules or neglect of empty cell division. Based on table structure characteristics, we find that obtaining the aligned bounding boxes of text region can effectively maintain the entire relevant range of different cells. However, the aligned bounding boxes are hard to be accurately predicted due to the visual ambiguities. In this paper, we aim to obtain more reliable aligned bounding boxes by fully utilizing the visual information from both text regions in proposed local features and cell relations in global features. Specifically, we propose the framework of Local and Global Pyramid Mask Alignment, which adopts the soft pyramid mask learning mechanism in both the local and global feature maps. It allows the predicted boundaries of bounding boxes to break through the limitation of original proposals. A pyramid mask re-scoring module is then integrated to compromise the local and global information and refine the predicted boundaries. Finally, we propose a robust table structure recovery pipeline to obtain the final structure, in which we also effectively solve the problems of empty cells locating and division. Experimental results show that the proposed method achieves competitive and even new state-of-the-art performance on several public benchmarks.

研究动机与目标

• 为解决具有复杂单元格跨行列与模糊空单元格的复杂表格结构识别挑战。
• 通过结合局部纹理与全局布局特征，提升对齐边界框预测的可靠性。
• 开发统一的端到端流程，有效检测并划分常被先前方法忽略的空单元格。
• 克服基于启发式规则与图神经网络（GNN）方法在复杂布局中训练成本高、稳定性差的局限性。
• 在表格结构识别任务中实现最先进性能，尤其在处理跨行列单元格与空单元格分割方面。

提出的方法

• 提出双分支网络：局部金字塔掩码对齐（LPMA）用于详细文本区域检测，全局金字塔掩码对齐（GPMA）用于整体单元格布局理解。
• 在局部与全局分支中均采用软金字塔掩码监督，以支持在初始提议之外的灵活边界预测。
• 引入金字塔掩码重打分模块，融合局部与全局特征，以优化对齐边界框预测。
• 设计鲁棒的表格结构恢复流程，整合对齐框检测与基于 GPMA 视觉线索的智能空单元格合并策略。
• 采用新颖的对齐损失函数，考虑绝对单元格覆盖度，提升对先前基于相对关系损失的泛化能力。
• 以 Mask R-CNN 作为主干网络进行初始检测，并通过多尺度特征学习增强定位精度。

实验结果

研究问题

• RQ1 如何提升在具有复杂单元格跨行列与视觉模糊性的表格中对齐边界框检测的准确性？
• RQ2 结合局部纹理感知与全局布局推理是否能增强表格结构识别的鲁棒性？
• RQ3 如何有效检测并划分在视觉上与多行/多列单元格相似的空单元格？
• RQ4 统一框架联合学习局部与全局特征是否优于依赖启发式规则或 GNN 的方法？
• RQ5 与标准 Mask R-CNN 相比，所提出的金字塔掩码重打分机制在边界定位上的提升程度如何？

主要发现

• 与基线 Mask R-CNN 相比，LGPMA 在对齐边界框检测的 H-mean 上提升 3.1%。
• 该方法在 TEDS-Struc 上提升 0.59 分，证明其在公开基准上的最先进性能。
• 所提出的空单元格合并策略在空单元格检测中达到 70.21% 的 H-mean，优于最小与最大单元格合并基线方法。
• 在提供真实非空对齐框的情况下，表格恢复流程对所有对齐框的 H-mean 达到 99.87%，证明其鲁棒性。
• 消融实验证实，结合 LPMA、GPMA 与重打分模块可获得最佳性能，优于仅使用对齐损失的情况。
• 该方法在文本区域检测与对齐框检测中均表现出一致性能提升，表明改进并非局限于单一模块。