[论文解读] Chargrid: Towards Understanding 2D Documents

Anoop R Katti, Christian Reisswig+5 more|arXiv (Cornell University)|Sep 24, 2018

Handwritten Text Recognition Techniques参考文献 21被引用 15

一句话总结

本文提出了Chargrid，一种通过将字符编码为2D网格来保留文档空间布局的2D网格表示方法，使完全卷积的编码器-解码器模型能够对结构化文档执行实例级语义分割和边界框预测。该方法通过同时利用空间和文本上下文，在发票信息抽取任务中显著优于NLP和计算机视觉基线模型。

ABSTRACT

We introduce a novel type of text representation that preserves the 2D layout of a document. This is achieved by encoding each document page as a two-dimensional grid of characters. Based on this representation, we present a generic document understanding pipeline for structured documents. This pipeline makes use of a fully convolutional encoder-decoder network that predicts a segmentation mask and bounding boxes. We demonstrate its capabilities on an information extraction task from invoices and show that it significantly outperforms approaches based on sequential text or document images.

研究动机与目标

• 为解决序列化NLP模型和纯视觉计算机视觉方法在理解具有固有2D布局的结构化文档时的局限性。
• 保留并利用文本元素之间的空间关系（例如位置、对齐方式、大小），这些关系对语义理解至关重要。
• 开发一种通用的、端到端的深度学习流水线，直接在2D文本表示上进行文档理解。
• 证明2D表示在需要布局感知推理的复杂信息抽取任务中的优越性。

提出的方法

• 将每页文档表示为字符的稀疏2D网格（chargrid），其中每个字符映射到其空间坐标。
• 使用带有全卷积层的编码器-解码器架构，预测像素级分割掩码和目标边界框。
• 通过联合损失函数进行模型训练，结合交叉熵损失用于分割和边界框损失用于目标检测。
• 通过将chargrid表示与图像编码器融合，整合视觉和文本特征，构建混合模型。
• 将字符编码为1-hot向量以保留其类别性质，从而生成高度稀疏的输入表示。
• 使用随机梯度下降配合权重衰减和标签平滑，实现端到端模型优化。

实验结果

研究问题

• RQ1 文本的2D网格表示能否保留对文档理解至关重要的空间关系？
• RQ2 与序列化NLP模型和基于图像的计算机视觉模型相比，基于chargrid的模型在结构化文档理解中的表现如何？
• RQ3 2D空间结构在复杂信息抽取任务（如项目行识别）中的性能提升程度如何？
• RQ4 chargrid表示能否在不同文档类型和布局复杂度下实现泛化？
• RQ5 在混合模型中，chargrid分支与图像编码器分支的贡献分别是什么？

主要发现

• Chargrid模型在发票信息抽取任务中显著优于最先进的NLP和计算机视觉模型，尤其在Vendor Address和Line-item Quantity等复杂字段上表现突出。
• 该模型在检测文本内容和空间布局方面均实现了高精度，优于无法利用2D结构的序列化模型。
• 在仅使用chargrid编码器的混合模型中，性能优于同时使用chargrid和图像编码器的混合模型，表明chargrid已捕获了大部分判别性信息。
• chargrid-hybrid-C32模型（chargrid分支通道数较少）的准确率显著下降，证实chargrid表示是性能的主要来源。
• 错误分析显示，模型在处理结构异常的项目行时表现不佳，但许多错误源于模糊的标注真值。
• 该模型收敛时间长达三天，表明其计算成本高于序列化模型（后者在数小时内即可收敛）。