[论文解读] Integrating and querying similar tables from PDF documents using deep learning

Rahul Anand, Hye-Young Paik+1 more|arXiv (Cornell University)|Jan 15, 2019

Data Quality and Management参考文献 25被引用 3

一句话总结

本文提出了一种基于深度学习的流水线，用于通过表格类型分类和基于词嵌入的行相似度搜索，在PDF文档中查询和整合相似的金融表格。该方法利用Google新闻词嵌入实现87.84%的平均命中率，显著优于传统文本匹配方法，实现了无需手动定义模式的非结构化PDF数据的高效自动化分析。

ABSTRACT

Large amount of public data produced by enterprises are in semi-structured PDF form. Tabular data extraction from reports and other published data in PDF format is of interest for various data consolidation purposes such as analysing and aggregating financial reports of a company. Queries into the structured tabular data in PDF format are normally processed in an unstructured manner through means like text-match. This is mainly due to that the binary format of PDF documents is optimized for layout and rendering and do not have great support for automated parsing of data. Moreover, even the same table type in PDF files varies in schema, row or column headers, which makes it difficult for a query plan to cover all relevant tables. This paper proposes a deep learning based method to enable SQL-like query and analysis of financial tables from annual reports in PDF format. This is achieved through table type classification and nearest row search. We demonstrate that using word embedding trained on Google news for header match clearly outperforms the text-match based approach in traditional database. We also introduce a practical system that uses this technology to query and analyse finance tables in PDF documents from various sources.

研究动机与目标

• 实现无需手动定义模式的、基于相似性的跨异构PDF文档的金融表格自动化查询。
• 解决PDF中表格布局和模式不一致的问题，这些问题是传统数据集成方法的障碍。
• 开发一个实用系统，支持从非结构化、公开可获取的PDF报告中实现快速数据集成与分析。
• 证明基于深度学习的词嵌入在半结构化数据中模糊行匹配的语义匹配性能优于传统数据库字符串相似度方法。

提出的方法

• 系统将PDF转换为HTML以保留表格结构，并利用HTML标签进行解析。
• 使用深度学习模型根据标题内容和布局特征，将表格分类为类型（例如：损益表、资产负债表）。
• 使用在Google News上训练的词嵌入将行和列标题编码为密集向量，以计算语义相似度。
• 通过嵌入标题向量之间的余弦距离计算行相似度，实现在命名法不同的表格之间进行模糊匹配。
• 该方法在行匹配方面优于PostgreSQL的基于三元组的字符串相似度（pg_trgm）。
• 原型Web界面允许用户使用此基于嵌入的方法在多个PDF中查询和浏览相似行。

实验结果

研究问题

• RQ1 与传统文本匹配方法相比，基于深度学习的词嵌入是否能提高从PDF中提取的金融表格行相似度匹配的准确性？
• RQ2 表格类型分类在对具有不同布局和术语的多样化PDF文档中的相似表格进行分组方面有多有效？
• RQ3 统一的嵌入空间在多文档范围内实现相似金融表格行查询方面能实现多大程度的无预定义模式支持？
• RQ4 在金融表格数据的语义匹配中，使用预训练词嵌入（如Google News）是否优于自定义训练的嵌入？
• RQ5 基于此流水线构建的系统是否能实现对非结构化PDF数据的实用、交互式查询，而无需数据分析师手动导入数据？

主要发现

• Google News词嵌入模型在跨表格识别相似行方面实现了87.84%的平均命中率，显著优于PostgreSQL的三元组基于相似度搜索（75.08%命中率）。
• 自定义训练的词嵌入实现了83.15%的平均命中率，表明在此上下文中预训练嵌入在语义匹配方面更为有效。
• 在个别表格样本中，PostgreSQL偶尔因严格的词汇匹配而优于词嵌入，尤其是在词汇稀疏或独特时。
• 表格类型分类表现出高准确率，嵌入空间中表格类型呈现清晰聚类，表明语义分离效果良好。
• 该系统证明，基于深度学习的语义匹配可实现无需手动定义模式的、金融数据在PDF中的实用自动化查询。
• 原型系统实现了从公开PDF报告中快速的数据集成与分析，减少了对人工数据提取或高端数据源的依赖。