[论文解读] Corpus Conversion Service: A Machine Learning Platform to Ingest Documents at Scale

Peter Staar, Michele Dolfi+2 more|arXiv (Cornell University)|May 24, 2018

Web Data Mining and Analysis参考文献 11被引用 17

一句话总结

本文提出了一种名为语料转换服务（Corpus Conversion Service, CCS）的可扩展、基于云的机器学习平台，通过将PDF和位图文档转换为JSON等结构化数据格式，实现大规模文档的结构化处理。该平台利用异步微服务架构和训练好的深度学习模型，在内容提取方面实现了接近完美的精确率与召回率（高达99%），使真实标注数据的收集速度至少提升一个数量级。

ABSTRACT

Over the past few decades, the amount of scientific articles and technical literature has increased exponentially in size. Consequently, there is a great need for systems that can ingest these documents at scale and make the contained knowledge discoverable. Unfortunately, both the format of these documents (e.g. the PDF format or bitmap images) as well as the presentation of the data (e.g. complex tables) make the extraction of qualitative and quantitive data extremely challenging. In this paper, we present a modular, cloud-based platform to ingest documents at scale. This platform, called the Corpus Conversion Service (CCS), implements a pipeline which allows users to parse and annotate documents (i.e. collect ground-truth), train machine-learning classification algorithms and ultimately convert any type of PDF or bitmap-documents to a structured content representation format. We will show that each of the modules is scalable due to an asynchronous microservice architecture and can therefore handle massive amounts of documents. Furthermore, we will show that our capability to gather ground-truth is accelerated by machine-learning algorithms by at least one order of magnitude. This allows us to both gather large amounts of ground-truth in very little time and obtain very good precision/recall metrics in the range of 99\% with regard to content conversion to structured output. The CCS platform is currently deployed on IBM internal infrastructure and serving more than 250 active users for knowledge-engineering project engagements.

研究动机与目标

• 为应对从海量科学与技术类PDF及位图文档中提取结构化知识的日益增长的挑战。
• 实现将非结构化文档内容可扩展、高精度地转换为JSON和XML等结构化格式，以支持知识发现。
• 加速文档解析任务中用于训练机器学习模型的真实标注数据收集。
• 设计一种模块化、云原生平台，支持并发用户、大规模文档工作负载以及动态资源扩展。
• 通过微服务架构与深度学习技术，提升文档转换流水线的效率与性能。

提出的方法

• 该平台采用五组件流水线：文档解析、布局语义标注、基于真实标注数据的模型训练、使用训练模型进行推理，以及结构化输出组装（如JSON）。
• 流水线的每个组件均以无状态微服务形式实现，通过异步消息队列进行通信，支持独立扩展与故障容错。
• 通过机器学习技术加速真实标注数据的生成，使人工工作量至少减少一个数量级。
• 利用标注数据训练深度学习模型，用于分类布局元素（如表格单元、文本块）并预测解析文档中的语义角色。
• 系统在Kubernetes上部署，支持动态资源绑定，可按微服务灵活扩展计算资源。
• 平台通过可选的OCR和图像处理微服务，同时支持原生PDF和扫描文档。

实验结果

研究问题

• RQ1 如何设计一种可扩展、模块化的平台，以大规模将非结构化PDF和位图文档转换为结构化数据？
• RQ2 机器学习在多大程度上可以加速文档布局理解的真实标注数据收集？
• RQ3 该平台的微服务架构在用户数量、文档量和计算资源方面如何实现水平扩展？
• RQ4 在文档布局上使用训练好的深度学习模型进行结构化内容提取，可达到何种精确率与召回率？
• RQ5 系统在不同工作负载和文档大小下如何保持可预测的端到端处理时间？

主要发现

• 语料转换服务平台成功支持超过250名活跃用户，并能处理大规模PDF页面，即使在使用量突然激增时性能依然稳定。
• 平台在结构化内容转换中实现了高达99%的精确率与召回率，证明了其在文档布局理解方面的高精度。
• 通过使用机器学习技术，真实标注数据的生成速度至少提升一个数量级，显著缩短了人工标注时间。
• 解析与机器学习推理组件的扩展性能与工作节点数量呈线性（甚至略好于线性）关系，表明具备强大的水平可扩展性。
• 文档组装阶段由于页面级并行化的固有局限，其加速曲线较平缓，但通过大规模语料可有效缓解负载不均问题。
• 系统通过根据工作负载需求动态分配计算资源，维持了可预测的端到端处理时间，确保了性能的稳定性。