[论文解读] FinBERT-MRC: financial named entity recognition using BERT under the machine reading comprehension paradigm

Yuzhe Zhang, Hong Zhang|arXiv (Cornell University)|May 31, 2022

Topic Modeling被引用 6

一句话总结

本文提出 FinBERT-MRC，一种将金融命名实体识别（FinNER）重构为机器阅读理解（MRC）任务的金融命名实体识别模型，采用领域特定的 BERT 模型。通过精心设计的查询注入先验知识，并消除对 CRF 解码的依赖，FinBERT-MRC 在 ChFinAnn 数据集上达到 92.78% 的 F1 分数，在 AdminPunish 数据集上达到 96.80%，相比序列标注基线模型最高提升 3.94 个百分点，性能达到当前最优水平。

ABSTRACT

Financial named entity recognition (FinNER) from literature is a challenging task in the field of financial text information extraction, which aims to extract a large amount of financial knowledge from unstructured texts. It is widely accepted to use sequence tagging frameworks to implement FinNER tasks. However, such sequence tagging models cannot fully take advantage of the semantic information in the texts. Instead, we formulate the FinNER task as a machine reading comprehension (MRC) problem and propose a new model termed FinBERT-MRC. This formulation introduces significant prior information by utilizing well-designed queries, and extracts start index and end index of target entities without decoding modules such as conditional random fields (CRF). We conduct experiments on a publicly available Chinese financial dataset ChFinAnn and a real-word bussiness dataset AdminPunish. FinBERT-MRC model achieves average F1 scores of 92.78% and 96.80% on the two datasets, respectively, with average F1 gains +3.94% and +0.89% over some sequence tagging models including BiLSTM-CRF, BERT-Tagger, and BERT-CRF. The source code is available at https://github.com/zyz0000/FinBERT-MRC.

研究动机与目标

• 为解决序列标注模型在捕捉金融文本中丰富语义和句法信息方面的局限性。
• 探究将 FinNER 重构为机器阅读理解（MRC）任务是否能够提升实体识别性能。
• 评估不同查询构建策略在提升模型泛化能力和边界检测方面的有效性。
• 展示领域自适应 BERT（FinBERT）与 MRC 结合在低资源和真实金融文本场景下的优越性。

提出的方法

• 将金融命名实体识别重构为机器阅读理解（MRC）任务，其中每种子类型实体均关联一个自然语言查询。
• 使用在金融语料上预训练的 BERT 模型（FinBERT）作为主干网络，以捕捉领域特定的语义表征。
• 采用跨度预测机制，通过回答设计好的查询来预测实体的起始和结束索引，从而无需使用 CRF 层。
• 探索三种查询构建方法：基于关键词的、基于规则模板的以及基于 Wikipedia 的查询，以注入先验知识。
• 通过将输入 token 与对应查询拼接，并使用跨度预测的交叉熵损失进行端到端训练。
• 通过改变训练样本数量评估模型鲁棒性，结果表明在数据稀缺条件下仍具备更强的泛化能力。

实验结果

研究问题

• RQ1 与传统序列标注框架相比，将 FinNER 重构为机器阅读理解任务是否能提升性能？
• RQ2 不同查询构建策略（关键词、基于规则、基于 Wikipedia）对金融实体识别模型性能有何影响？
• RQ3 结合领域特定预训练（FinBERT）与 MRC 是否能增强模型在金融文本中的泛化能力和边界检测能力？
• RQ4 在训练数据有限的低资源设置下，模型表现如何？
• RQ5 通过查询编码的先验知识对提升 F1 分数和减少假阴性结果的贡献有多大？

主要发现

• 在 ChFinAnn 数据集上，FinBERT-MRC 达到平均 F1 分数 92.78%，相比 BERT-Tagger 基线模型提升 +3.94%。
• 在真实世界数据集 AdminPunish 上，FinBERT-MRC 达到 F1 分数 96.80%，相比 BERT-Tagger 基线模型提升 +0.89%。
• 基于 Wikipedia 的查询构建方法（MRC-Wiki）在所有实验中表现最佳，优于基于关键词和基于规则的查询策略。
• 模型在训练数据量减少时表现出更强的鲁棒性，在低资源条件下性能显著优于序列标注模型。
• 案例研究证实，FinBERT-MRC 更好地捕捉了句法结构，能更准确识别完整实体跨度，有效减少边界错误和漏检实体。
• 通过精心设计的查询注入先验知识显著提升了模型性能，验证了 MRC 框架在 FinNER 中的有效性。