[论文解读] Combining Pre-trained Word Embeddings and Linguistic Features for Sequential Metaphor Identification

Rui Mao, Chenghua Lin+1 more|arXiv (Cornell University)|Apr 7, 2021

Language, Metaphor, and Cognition参考文献 37被引用 9

一句话总结

该论文提出了一种多通道CNN-BiLSTM模型，结合预训练词嵌入（GloVe、ELMo和BERT）与语言学特征（词性、抽象性），用于序列隐喻识别，在三个基准数据集上实现了最先进性能，通过利用不同嵌入之间的互补语义与句法信息实现。

ABSTRACT

We tackle the problem of identifying metaphors in text, treated as a sequence tagging task. The pre-trained word embeddings GloVe, ELMo and BERT have individually shown good performance on sequential metaphor identification. These embeddings are generated by different models, training targets and corpora, thus encoding different semantic and syntactic information. We show that leveraging GloVe, ELMo and feature-based BERT based on a multi-channel CNN and a Bidirectional LSTM model can significantly outperform any single word embedding method and the combination of the two embeddings. Incorporating linguistic features into our model can further improve model performance, yielding state-of-the-art performance on three public metaphor datasets. We also provide in-depth analysis on the effectiveness of leveraging multiple word embeddings, including analysing the spatial distribution of different embedding methods for metaphors and literals, and showing how well the embeddings complement each other in different genres and parts of speech.

研究动机与目标

• 通过结合编码不同语义与句法知识的多种预训练词嵌入，提升序列隐喻识别性能。
• 探究结合GloVe、ELMo和BERT等多样化嵌入是否能超越单一或成对组合的性能表现。
• 评估整合语言学特征（词性与词抽象性）对隐喻检测性能的影响。
• 分析不同嵌入在不同语体和词性中的互补性，以理解其相对优势。
• 识别嵌入组合在何种条件下表现更优，特别是向量空间对齐与特征平衡方面。

提出的方法

• 采用多通道卷积神经网络（CNN），其中每个通道处理一种独立的词嵌入（GloVe、ELMo或BERT），以捕捉局部特征。
• 将CNN层的输出输入双向长短期记忆网络（BiLSTM），以建模序列中的长距离依赖关系。
• 将语言学特征（词性标记与词抽象性评分）作为额外输入特征整合到模型中。
• 通过SVD正交映射将BERT与ELMo嵌入对齐至同一向量空间，以实现一致的比较与组合。
• 在三个公开的隐喻数据集（VUA、MOH-X和TroFi）上端到端训练模型，采用序列标注与BIO标注方案。
• 使用标准指标（精确率、召回率与F1值）在开发集与测试集上评估性能。

实验结果

研究问题

• RQ1 结合多种预训练词嵌入（GloVe、ELMo、BERT）是否在序列隐喻识别任务中优于使用任一单一嵌入？
• RQ2 在不同语体与词性中，不同嵌入组合（如两两组合与三者组合）的F1值表现如何比较？
• RQ3 当与多嵌入输入结合时，语言学特征（如词性与词抽象性）在多大程度上提升了隐喻检测性能？
• RQ4 为何某些嵌入组合（如ELMo与早期BERT层）表现欠佳？空间或分布因素如何导致性能下降？
• RQ5 哪些BERT层在隐喻识别中最为有效？其表现与在NER等其他NLP任务中的表现有何差异？

主要发现

• GloVe、ELMo与基于特征的BERT（GEB）组合在所有三个数据集上均取得最高F1值，相比最佳单一嵌入（BERT）提升2.3%，表现更优。
• EB组合（ELMo + BERT）在平均F1上优于最佳单一嵌入（BERT）1.0%，表明双嵌入组合可带来稳定性能增益。
• BERT的中间层（特别是第11至17层）在隐喻识别中表现优于最后几层，与NER任务中后期层最优的发现形成对比。
• 形容词在嵌入组合中获得最大性能提升：GE（GloVe + ELMo）相比ELMo单独使用提升7.3%，GB17（GloVe + BERT第17层）相比BERT17提升4.2%。
• 发现ELMo与旋转后的BERT嵌入之间的平均L2距离与模型性能呈负相关（R = -0.70），表明嵌入间空间差异越大，有效组合越困难。
• 当结合在不同语料上训练且架构不同的嵌入时，模型性能最高，证实其在捕捉多样语义与句法模式方面的互补性。