[论文解读] F-Score Driven Max Margin Neural Network for Named Entity Recognition in Chinese Social Media

Hangfeng He, Xu Sun|arXiv (Cornell University)|Nov 14, 2016

Topic Modeling参考文献 25被引用 9

一句话总结

本文提出了一种基于F-score驱动的最大间隔神经网络，用于中文社交媒体命名实体识别，通过双向LSTM整合转移概率与半监督学习，以提升F1分数。该模型通过联合优化F-score与标签准确率，实现了最先进性能，在整体F1分数达到54.82%的情况下，优于先前方法在命名实体与名词性提及上的表现。

ABSTRACT

We focus on named entity recognition (NER) for Chinese social media. With massive unlabeled text and quite limited labelled corpus, we propose a semi-supervised learning model based on B-LSTM neural network. To take advantage of traditional methods in NER such as CRF, we combine transition probability with deep learning in our model. To bridge the gap between label accuracy and F-score of NER, we construct a model which can be directly trained on F-score. When considering the instability of F-score driven method and meaningful information provided by label accuracy, we propose an integrated method to train on both F-score and label accuracy. Our integrated model yields 7.44\% improvement over previous state-of-the-art result.

研究动机与目标

• 解决低资源、非正式中文社交媒体文本在命名实体识别（NER）中的挑战。
• 弥合标签准确率与F-score之间的差距，二者在NER评估中常出现错位。
• 通过利用大规模未标注文本进行半监督学习，提升低资源环境下的NER性能。
• 设计一种直接针对F-score进行优化的训练目标，而非标签准确率，从而增强模型对噪声预测的鲁棒性。
• 将F-score与标签准确率整合进统一的训练框架，以提升泛化能力。

提出的方法

• 基于双向LSTM（B-LSTM）提出一种最大间隔神经网络（MMNN），通过转移概率建模序列级标签依赖关系。
• 引入一种结构化间隔损失函数，基于F-score启发的惩罚机制对错误标签序列进行惩罚，使用折扣参数κ来加权标签不匹配情况。
• 构建一个句子级得分函数，结合B-LSTM输出、转移概率A以及预测标签的负对数似然。
• 采用混合训练目标，结合F-score驱动损失与标签准确率损失，通过超参数β平衡两项指标。
• 利用未标注文本中的位置字符嵌入丰富词表示，提升低资源环境下的泛化能力。
• 采用带L2正则化的随机梯度下降法，并在20个周期内使用衰减学习率进行模型优化。

实验结果

研究问题

• RQ1 在神经网络中直接优化F-score是否能提升中文社交媒体NER的性能，相较于基于标准准确率的训练？
• RQ2 将F-score与标签准确率整合进统一训练目标，如何影响模型的泛化能力与鲁棒性？
• RQ3 转移概率与B-LSTM表示在低资源NER中对序列级标注的提升程度如何？
• RQ4 使用未标注数据中的位置字符嵌入是否能提升中文NER中OOV实体的性能？
• RQ5 在训练目标中F-score与准确率的最优平衡点是什么？该平衡如何影响模型性能？

主要发现

• 所提出的F-score驱动模型（Model I）取得53.64%的整体F1分数，优于基线B-LSTM模型（52.81%）及先前最先进方法。
• 集成模型（Model II）达到54.82%的新SOTA F1分数，证明了联合优化F-score与标签准确率的有效性。
• 模型将未登录词（OOV）实体的召回率提升至20.96%，表明对罕见或未见实体具有更好的泛化能力。
• 使用位置字符嵌入的性能优于词分词特征，F1分数达56.29%，高于基线B-LSTM的52.81%。
• 集成损失函数中的超参数β对性能有显著影响，β=0.2时在F-score与准确率之间达到最优平衡。