[论文解读] Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity

Nguyen Tien Huy, Minh Le+2 more|arXiv (Cornell University)|May 21, 2018

Topic Modeling参考文献 27被引用 6

一句话总结

该论文提出 M-MaxLSTM-CNN，一种结合多种预训练词嵌入并采用多层次比较（词-词、词-句、句-句）的神经网络模型，以提升语义文本相似度。通过融合多样化的词嵌入，并利用最大池化与LSTM进行句子编码，该模型在STS Benchmark和SICK数据集上实现了最先进性能，且无需手工设计特征或维度对齐的嵌入。

ABSTRACT

Different word embedding models capture different aspects of linguistic properties. This inspired us to propose a model (M-MaxLSTM-CNN) for employing multiple sets of word embeddings for evaluating sentence similarity/relation. Representing each word by multiple word embeddings, the MaxLSTM-CNN encoder generates a novel sentence embedding. We then learn the similarity/relation between our sentence embeddings via Multi-level comparison. Our method M-MaxLSTM-CNN consistently shows strong performances in several tasks (i.e., measure textual similarity, identify paraphrase, recognize textual entailment). According to the experimental results on STS Benchmark dataset and SICK dataset from SemEval, M-MaxLSTM-CNN outperforms the state-of-the-art methods for textual similarity tasks. Our model does not use hand-crafted features (e.g., alignment features, Ngram overlaps, dependency features) as well as does not require pre-trained word embeddings to have the same dimension.

研究动机与目标

• 通过利用多种预训练词嵌入，解决在句子相似度任务中捕捉多样化语言特性的挑战。
• 通过整合词序信息以及句子表示之间的多层次交互，改进语义文本相似度建模。
• 消除在相似度建模中对人工设计特征（如对齐、n-gram重叠或句法结构）的依赖。
• 在统一的深度学习框架中，有效利用具有不同维度的预训练词嵌入。
• 在无需迁移学习或在辅助数据上微调的情况下，实现在STS和文本蕴含任务上的最先进性能。

提出的方法

• 该模型使用 MaxLSTM-CNN 编码器，对每个词处理多种预训练词嵌入，将其组合为多方面表示。
• 通过卷积层后接最大池化和双向LSTM，编码句子级表示，同时保留词序信息。
• 多层次比较在三个层次上计算相似度：词-词、词-句和句-句，实现全面的交互。
• 通过对比损失目标端到端训练模型，以优化句子对之间的相似度得分。
• 通过拼接和卷积滤波学习联合表示，支持不同维度的词嵌入。
• 该架构避免依赖固定大小的嵌入或预处理特征（如依存树或n-gram重叠）。

实验结果

研究问题

• RQ1 结合具有不同语言特性的多种预训练词嵌入，能否提升句子相似度建模？
• RQ2 多层次比较（词-词、词-句、句-句）是否优于单层次比较？
• RQ3 模型能否在不依赖手工设计特征的情况下实现出色的语义文本相似度结果？
• RQ4 使用多种嵌入如何影响未登录词的覆盖范围及整体性能？
• RQ5 该模型在不同NLP任务（如释义识别和文本蕴含）中是否具有良好的泛化能力？

主要发现

• 在STS Benchmark数据集上，M-MaxLSTM-CNN 达到了皮尔逊相关系数 88.76 和斯皮尔曼等级相关系数 84.95，优于先前的最先进方法。
• 在 SICK-E 文本蕴含任务中，模型达到了 95.97% 的准确率，表明其在无需手工设计特征的情况下具有强大的泛化能力。
• 使用五种预训练词嵌入显著提升了词汇覆盖率（|V|_avai），并在 STSB 和 MRPC 数据集上带来了显著的性能提升。
• 即使词汇覆盖率未增加（例如在 SICK-R 中），性能仍得到提升，表明多嵌入融合能有效学习。
• 仅使用 GloVe 嵌入，M-MaxLSTM-CNN 在 STSB 上优于 HCTI（78.4 分），在 SICK-R 上与 InferSent（88.4 分）持平，且无需迁移学习。
• 与仅使用句-句比较相比，多层次比较显著提升了性能，尤其在需要细粒度语义分析的任务中表现更优。