[论文解读] A Saliency-based Convolutional Neural Network for Table and Chart Detection in Digitized Documents

Isaak Kavasidis, Simone Palazzo+5 more|arXiv (Cornell University)|Apr 17, 2018

Handwritten Text Recognition Techniques参考文献 1被引用 24

一句话总结

本文提出一种基于显著性的全卷积神经网络，结合全连接条件随机场（CRF），以实现对数字化文档图像中表格和图表的精确检测与定位。通过利用类别特定的显著性、多尺度特征推理以及基于CRF的优化，该方法在扩展的ICDAR 2013基准上实现了97.8%的F1分数，优于现有方法在表格和图表检测上的表现。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) have recently been applied successfully to a variety of vision and multimedia tasks, thus driving development of novel solutions in several application domains. Document analysis is a particularly promising area for DCNNs: indeed, the number of available digital documents has reached unprecedented levels, and humans are no longer able to discover and retrieve all the information contained in these documents without the help of automation. Under this scenario, DCNNs offers a viable solution to automate the information extraction process from digital documents. Within the realm of information extraction from documents, detection of tables and charts is particularly needed as they contain a visual summary of the most valuable information contained in a document. For a complete automation of visual information extraction process from tables and charts, it is necessary to develop techniques that localize them and identify precisely their boundaries. In this paper we aim at solving the table/chart detection task through an approach that combines deep convolutional neural networks, graphical models and saliency concepts. In particular, we propose a saliency-based fully-convolutional neural network performing multi-scale reasoning on visual cues followed by a fully-connected conditional random field (CRF) for localizing tables and charts in digital/digitized documents. Performance analysis carried out on an extended version of ICDAR 2013 (with annotated charts as well as tables) shows that our approach yields promising results, outperforming existing models.

研究动机与目标

• 解决在传统目标检测器因版式差异而非视觉内容而失效的场景下，检测数字化文档图像中表格和图表的挑战。
• 通过整合多尺度推理与显著性建模，克服标准DCNN在密集预测任务中的局限性，以提升定位性能。
• 通过将深度学习与全连接CRF结合，对显著性图进行后处理优化，提升检测精度。
• 开发一种对无规则和复杂表格以及多样化图表类型具有鲁棒性的方法，且不依赖文档格式元数据。

提出的方法

• 训练一个全卷积神经网络，基于目标对象类别（表格、柱状图、饼图、折线图）检测文档图像中的显著区域，使用类别特定的显著性作为监督信号。
• 网络采用多尺度特征聚合，以捕捉细粒度与全局结构模式，提升高分辨率特征图上的定位能力。
• 引入基于下游分类任务中生成显著性图判别能力的辅助损失，以增强特征学习。
• 在网络后处理阶段应用全连接条件随机场（CRF），以优化分割输出，减少噪声并填补检测区域中的空隙。
• CRF通过建模像素间的长距离依赖关系，强制实现空间一致性，并纠正不完整检测。
• 最终输出为像素级分类图，通过在高置信度区域上应用非极大值抑制生成边界框。

实验结果

研究问题

• RQ1 与标准目标检测方法相比，基于显著性的深度学习是否能提升对文档图像中基于版式的对象（如表格和图表）的检测性能？
• RQ2 在全卷积网络中，多尺度推理在表格和图表定位等密集预测任务中的有效性如何？
• RQ3 通过优化显著性图并减少假阴性，全连接CRF在多大程度上提升了检测性能？
• RQ4 将显著性学习与判别性损失信号结合，是否能增强模型区分表格/图表与背景或相似结构的能力？
• RQ5 在同时包含表格和图表的基准上，该方法在F1分数、精确率和召回率方面与SOTA方法相比表现如何？

主要发现

• 所提方法在扩展的ICDAR 2013数据集上实现了97.8%的F1分数，显著优于先前的SOTA方法。
• 消融实验表明，加入CRF模块使F1分数从SAL-CL配置的90.4%提升至全部配置的97.8%，证明其在减少假阴性中的关键作用。
• CRF使召回率提升12%，精确率仅提升6%，表明其主要优势在于填补大尺寸或部分检测对象的空缺。
• 仅使用SAL配置的模型F1分数仅为76.3%，证明仅依赖通用显著性检测不足以实现良好性能，必须结合类别特定学习与CRF优化。
• 该方法成功检测了复杂且无规则的表格，以及包括饼图和柱状图在内的多样化图表类型，即使在存在重叠元素的复杂布局中也表现良好。
• 可视化结果证实，CRF能有效扩展不完整检测区域并纠正边界错误，最终输出的边界框与真实标注更加吻合。