[论文解读] A Deep Learning approach for Hindi Named Entity Recognition

Bansi Shah, Sunil Kumar Kopparapu|arXiv (Cornell University)|Nov 5, 2019

Topic Modeling参考文献 11被引用 7

一句话总结

本文提出了一种分层深度学习方法用于印地语命名实体识别（NER），通过在基础BiLSTM模型上引入去噪自编码器LSTM（DAE-LSTM）和条件LSTM，提升了基线模型的F1分数，尤其在标注数据有限的低资源设置下表现更优。该方法使用预训练的fastText词嵌入，并表明尽管存在未登录词（OOV）挑战，架构改进仍能带来性能提升。

ABSTRACT

Named Entity Recognition is one of the most important text processing requirement in many NLP tasks. In this paper we use a deep architecture to accomplish the task of recognizing named entities in a given Hindi text sentence. Bidirectional Long Short Term Memory (BiLSTM) based techniques have been used for NER task in literature. In this paper, we first tune BiLSTM low-resource scenario to work for Hindi NER and propose two enhancements namely (a) de-noising auto-encoder (DAE) LSTM and (b) conditioning LSTM which show improvement in NER task compared to the BiLSTM approach. We use pre-trained word embedding to represent the words in the corpus, and the NER tags of the words are as defined by the used annotated corpora. Experiments have been performed to analyze the performance of different word embeddings and batch sizes which is essential for training deep models.

研究动机与目标

• 解决印地语NER标注数据稀缺及缺乏稳健NLP工具的问题。
• 在低资源条件下，利用深度学习提升印地语NER的性能。
• 探索对BiLSTM的架构改进，以提升形态丰富的语言中的实体标注性能。
• 研究词嵌入和批量大小对模型训练与推理的影响。
• 评估模型在印地语文本中词汇表内和词汇表外词语上的鲁棒性。

提出的方法

• 以基础BiLSTM模型作为印地语NER的基线，在低资源场景下进行微调。
• 引入去噪自编码器LSTM（DAE-LSTM），通过重建词嵌入来学习鲁棒的表示。
• 实现一个条件LSTM，通过结合预测标签和上下文特征，对BiLSTM输出进行优化。
• 将预训练的fastText词嵌入与字符级表示及基于特征的表示相结合，以增强输入表示。
• 使用10k原始和4k处理后的训练数据集进行训练，并在处理后的测试集上进行评估。
• 应用CRF层进行序列标注，并使用交叉熵损失与Adam优化器进行优化。

实验结果

研究问题

• RQ1 在低资源设置下，与标准BiLSTM相比，去噪自编码器LSTM是否能提升印地语NER的性能？
• RQ2 将LSTM输出基于预测标签进行条件化，对印地语文本NER准确率有何影响？
• RQ3 不同词嵌入和批量大小对训练印地语NER深度模型有何影响？
• RQ4 为何模型在未登录词（OOV）上的性能下降？能否通过更优的嵌入策略缓解此问题？
• RQ5 以分层方式堆叠多个神经组件，是否能获得优于独立BiLSTM的NER结果？

主要发现

• DAE-LSTM模型在处理后的测试集上达到0.81的F1分数，优于基线BiLSTM（F1: 0.75）和条件LSTM（F1: 0.79）。
• 结合BiLSTM架构的条件LSTM达到0.79的F1分数，表明在原始和处理后的数据集上均持续优于基线模型。
• 在未登录词（OOV）上的性能显著下降，基线LSTM的召回率仅为0.24，F1为0.31，表明零向量嵌入存在局限性。
• DAE-LSTM模型生成的词嵌入（w∗_i）与已知词汇不完全匹配，表明需引入约束机制以改善歧义消解。
• 在4k处理数据上训练的模型F1为0.62，低于在10k原始数据上训练的0.75，证实数据量在低资源NER中仍为关键因素。
• 虽考虑在词级别使用BERT嵌入，但因维度不匹配（768D）与256单元LSTM架构，未完全实现。