[论文解读] Detecting Table Region in PDF Documents Using Distant Supervision

Miao Fan, Doo Soon Kim|arXiv (Cornell University)|Jun 29, 2015

Handwritten Text Recognition Techniques参考文献 6被引用 12

一句话总结

本文提出了一种用于PDF中开放域表格区域检测的远程监督范式，利用ACL Anthology中的大规模未标注学术文章自动生成弱监督训练数据。通过结合布局特征、词性标注和命名实体，并采用集成分类器（朴素贝叶斯、逻辑回归、支持向量机），系统PdfExtra在域内（ACL）和域外（ICDAR 2013）数据集上均取得了最先进性能，显著优于先前方法，且人工标注成本极低。

ABSTRACT

Superior to state-of-the-art approaches which compete in table recognition with 67 annotated government reports in PDF format released by {\it ICDAR 2013 Table Competition}, this paper contributes a novel paradigm leveraging large-scale unlabeled PDF documents to open-domain table detection. We integrate the paradigm into our latest developed system ({\it PdfExtra}) to detect the region of tables by means of 9,466 academic articles from the entire repository of {\it ACL Anthology}, where almost all papers are archived by PDF format without annotation for tables. The paradigm first designs heuristics to automatically construct weakly labeled data. It then feeds diverse evidences, such as layouts of documents and linguistic features, which are extracted by {\it Apache PDFBox} and processed by {\it Stanford NLP} toolkit, into different canonical classifiers. We finally use these classifiers, i.e. {\it Naive Bayes}, {\it Logistic Regression} and {\it Support Vector Machine}, to collaboratively vote on the region of tables. Experimental results show that {\it PdfExtra} achieves a great leap forward, compared with the state-of-the-art approach. Moreover, we discuss the factors of different features, learning models and even domains of documents that may impact the performance. Extensive evaluations demonstrate that our paradigm is compatible enough to leverage various features and learning models for open-domain table region detection within PDF files.

研究动机与目标

• 解决在不依赖昂贵人工标注的情况下检测PDF文档中表格区域的挑战。
• 开发一种可扩展的、开放域的表格检测解决方案，使其在不同文档布局和领域间具有泛化能力。
• 评估结合布局特征、语言特征和多种分类器对提升检测准确率的影响。
• 研究特征组合、学习模型和领域差异对表格检测性能的影响。

提出的方法

• 使用应用于ACL Anthology中9,466份未标注PDF的启发式规则，自动生成弱监督训练数据。
• 利用Apache PDFBox提取布局特征（如空间对齐、行间距），并通过Stanford NLP工具包提取语言特征（词性标注、命名实体）。
• 在弱监督数据上训练三种标准分类器——朴素贝叶斯、逻辑回归和支持向量机。
• 通过三种分类器的多数投票机制预测测试文档中的表格区域。
• 利用该范式在学术PDF上进行训练，并在域内（ACL）和域外（ICDAR 2013）测试集上进行评估。
• 评估不同特征组合（仅布局、布局+词性标注、完整特征）以及在不同数据集上的分类器性能。

实验结果

研究问题

• RQ1 远程监督方法是否能显著降低标注成本，同时在表格区域检测中保持高准确率？
• RQ2 不同组合的布局特征与语言特征如何影响检测性能？
• RQ3 在不同领域中，各种监督分类器（朴素贝叶斯、逻辑回归、SVM）在检测表格区域方面的表现如何比较？
• RQ4 在学术PDF上训练的模型在布局不同的政府文档上泛化能力如何？
• RQ5 领域差异对所提出的检测范式性能有何影响？

主要发现

• PdfExtra在ACL Anthology测试集上取得了0.8022的F1值，显著优于最先进启发式基线方法（F1 = 0.4444）。
• 在ICDAR 2013域外测试集上，当在ACL数据上训练时，PdfExtra取得了0.7683的F1值，表明其具备强大的跨领域泛化能力。
• 在ICDAR 2013数据集上，布局特征与词性标注的组合（NAM + PTD）表现最佳；而在ACL Anthology数据集上，完整特征集成（NAM + PTD + NEP）表现最优。
• 朴素贝叶斯分类器在域内和域外评估中均表现出最稳定的性能。
• 语言特征（词性标注和命名实体）的引入相较于仅使用布局特征，带来了显著的性能提升。
• 系统对领域差异的鲁棒性证实了远程监督范式在开放域表格检测中的有效性。