[论文解读] Efficient Document Image Classification Using Region-Based Graph Neural Network

Jaya Krishna Mandivarapu, Eric Bunch+2 more|arXiv (Cornell University)|Jun 25, 2021

Handwritten Text Recognition Techniques参考文献 23被引用 5

一句话总结

本文提出了一种基于区域的图神经网络（Eff-GNN）的高效文档图像分类框架，通过 PubLayNet 提取的语义区域整合视觉、文本和布局特征。该方法在显著减少模型大小及训练/推理时间的同时，实现了接近最先进水平的分类准确率，支持在 CPU 上低成本部署，并适用于可扩展的企业级应用。

ABSTRACT

Document image classification remains a popular research area because it can be commercialized in many enterprise applications across different industries. Recent advancements in large pre-trained computer vision and language models and graph neural networks has lent document image classification many tools. However using large pre-trained models usually requires substantial computing resources which could defeat the cost-saving advantages of automatic document image classification. In the paper we propose an efficient document image classification framework that uses graph convolution neural networks and incorporates textual, visual and layout information of the document. We have rigorously benchmarked our proposed algorithm against several state-of-art vision and language models on both publicly available dataset and a real-life insurance document classification dataset. Empirical results on both publicly available and real-world data show that our methods achieve near SOTA performance yet require much less computing resources and time for model training and inference. This results in solutions than offer better cost advantages, especially in scalable deployment for enterprise applications. The results showed that our algorithm can achieve classification performance quite close to SOTA. We also provide comprehensive comparisons of computing resources, model sizes, train and inference time between our proposed methods and baselines. In addition we delineate the cost per image using our method and other baselines.

研究动机与目标

• 开发一种低资源、高性能的文档图像分类框架，适用于大规模企业级部署。
• 在不依赖大型预训练视觉或语言模型的前提下，有效整合视觉、文本和布局特征。
• 系统性地评估和比较最先进模型在训练时间、GPU 显存和推理速度等方面的计算效率。
• 实现在保险理赔处理等实际应用场景中可扩展、成本效益高的文档分类模型部署。
• 在保持竞争性分类准确率的同时，降低对昂贵 GPU 资源的依赖。

提出的方法

• 使用预训练的 PubLayNet 模型对文档图像进行实例分割，提取语义区域。
• 通过 Word2Vec 嵌入提取文本特征，通过预训练的 VGG-16 模型提取图像特征。
• 构建图结构，其中每个节点代表一个语义区域，节点特征结合视觉、文本和位置布局嵌入。
• 应用带有排序池化的图卷积网络（GCN），对整个文档图进行分类，支持在任意图结构上进行端到端训练。
• 使用交叉熵损失进行训练，并同时优化准确率和计算效率。
• 框架支持在 CPU 上进行推理，模型权重以 Docker 容器形式打包，通过 AWS Fargate 和 ECS 部署。

实验结果

研究问题

• RQ1 图神经网络能否有效整合文档图像中的视觉、文本和布局特征，以实现具有竞争力的分类准确率？
• RQ2 与最先进（SOTA）的视觉和语言模型相比，该方法在计算效率和资源使用方面表现如何？
• RQ3 该模型是否能在仅需最低硬件要求的 CPU 上实现高准确率并成功部署？
• RQ4 当 OCR 失败或不完整时，结合 OCR 提取的文本特征与图像特征对性能有何影响？
• RQ5 在真实世界数据集和公开数据集上，该模型在训练时间、内存使用和推理速度方面的可扩展性如何？

主要发现

• 在保险数据集（11 个类别）上，Eff-GNN 结合 Word2Vec 和图像嵌入的 AUC 达到 91.0%，与 BERT 和 DocBERT（91.95%）相当，但参数量仅为 734k，远低于 BERT 的 110M。
• 在 Tobacco-3482 数据集（10 个类别）上，Eff-GNN 使用图像和文本特征的 AUC 达到 77.5%，在效率方面优于 BERT（79.0%）和 VGG-16（81.5%）。
• Eff-GNN 在 GPU 上训练 50 个周期仅需 3.5 分钟，而 BERT 需要 6.2 小时，且 GPU 显存使用量为 470MB，远低于 BERT 的 10.5GB。
• Eff-GNN 在 GPU 和 CPU 上的推理时间均为每张图像 0.79 秒，远快于 BERT 的 40 秒，且 CPU 上无需 GPU 显存。
• 模型参数量减少至 734k（124k + 610k），使其适用于 CPU 部署和可扩展的容器化托管。
• 与 BERT 相比，该框架实现了 40 倍的推理速度提升和 10 倍的 GPU 显存使用减少，凸显了在企业级部署中的显著成本优势。