[论文解读] LAMBERT: Layout-Aware language Modeling using BERT for information extraction.

Łukasz Garncarek, Rafał Powalski+4 more|arXiv (Cornell University)|Feb 19, 2020

Natural Language Processing Techniques被引用 25

一句话总结

LAMBERT 提出了一种基于 BERT 的布局感知模型，通过在不从头开始微调的情况下将文档布局特征融入预训练语言表示中。通过使用改进的 Transformer 模型融合空间特征与文本特征，LAMBERT 在文档理解任务中实现了最先进性能，尤其在布局显著影响语义理解的场景中表现优异。

ABSTRACT

In this paper we introduce a novel approach to the problem of understanding documents where the local semantics is influenced by non-trivial layout. Namely, we modify the Transformer architecture in a way that allows it to use the graphical features defined by the layout, without the need to re-learn the language semantics from scratch, thanks to starting the training process from a model pretrained on classical language modeling tasks.

研究动机与目标

• 解决当布局特征显著影响局部语义时的文档理解挑战。
• 将图形化布局信息（例如位置、大小、邻近度）整合到类似 BERT 的预训练语言模型中。
• 在适应布局感知推理的同时保留预训练语言表示能力。
• 提升在表单和发票等布局敏感文档上的信息抽取任务性能。

提出的方法

• 通过引入布局条件注意力机制扩展 BERT 架构，将空间坐标融入自注意力计算。
• 将标记的边界框坐标（x, y, 宽度, 高度）作为额外输入嵌入，与 wordpiece 嵌入并列输入。
• 引入可学习的布局嵌入，将其与标记嵌入拼接，以在注意力计算中引入空间上下文条件。
• 在文档级信息抽取任务上端到端微调模型，同时保留预训练语言理解能力。
• 采用多模态融合策略，在微调过程中联合优化文本特征与空间特征。

实验结果

研究问题

• RQ1 是否可以在不从头开始训练语言组件的前提下，有效将布局特征集成到预训练语言模型中？
• RQ2 空间布局信息的引入在布局敏感场景下如何提升文档理解能力？
• RQ3 所提出的布局感知注意力机制在文档级信息抽取任务中相较于标准 BERT 的性能提升程度如何？
• RQ4 该模型是否能在表单、发票和科技论文等多种文档类型上实现良好泛化？

主要发现

• LAMBERT 在多个文档级信息抽取基准测试中（包括 FUNSD 和 SROIE）实现了最先进性能。
• 布局特征的引入显著提升了标准 BERT 的 F1 分数，尤其在具有非线性结构的复杂布局中表现突出。
• 由于使用了预训练权重，模型保持了强大的语言理解能力，避免了灾难性遗忘。
• 消融实验证实，布局嵌入和空间注意力是性能提升的关键组件。