[论文解读] Knowledge Enhanced Hybrid Neural Network for Text Matching

Yu Wu, Wei Wu+2 more|arXiv (Cornell University)|Nov 15, 2016

Topic Modeling被引用 29

一句话总结

本文提出知识增强混合神经网络（KEHNN），一种多通道神经匹配模型，通过知识门将先验知识整合到模型中，以提升长文本对之间的语义匹配性能。通过使用CNN和MLP融合词级别、序列结构以及知识增强表示，KEHNN在长文本对上实现了最先进性能，尤其在长文本问答对上相比先前模型实现了7.8%的准确率提升。

ABSTRACT

Long text brings a big challenge to semantic matching due to their complicated semantic and syntactic structures. To tackle the challenge, we consider using prior knowledge to help identify useful information and filter out noise to matching in long text. To this end, we propose a knowledge enhanced hybrid neural network (KEHNN). The model fuses prior knowledge into word representations by knowledge gates and establishes three matching channels with words, sequential structures of sentences given by Gated Recurrent Units (GRU), and knowledge enhanced representations. The three channels are processed by a convolutional neural network to generate high level features for matching, and the features are synthesized as a matching score by a multilayer perceptron. The model extends the existing methods by conducting matching on words, local structures of sentences, and global context of sentences. Evaluation results from extensive experiments on public data sets for question answering and conversation show that KEHNN can significantly outperform the-state-of-the-art matching models and particularly improve the performance on pairs with long text.

研究动机与目标

• 解决由于复杂句法和语义结构导致的长文本对之间语义鸿沟问题。
• 提升长文本匹配的准确性，因为现有模型在噪声和结构复杂性影响下表现不佳。
• 利用外部先验知识（如主题、实体）作为全局上下文，以过滤噪声并突出相关信息。
• 设计一种混合神经网络，从多个层次建模匹配：词级别、局部序列结构以及全局知识增强上下文。
• 在长文本匹配任务中，持续优于最先进模型，尤其在长文本匹配任务中表现卓越。

提出的方法

• 引入知识门，将先验知识（如LDA生成的主题）融合到词表示中，实现对无关信息的动态过滤。
• 构建三个匹配通道：(1) 使用词嵌入的词级别相似度，(2) 通过BiGRU对句子隐藏状态进行序列结构匹配，(3) 在知识增强词经过BiGRU处理后进行知识增强表示匹配。
• 对每个相似度矩阵应用卷积神经网络（CNN），以从匹配通道中提取高层次组合特征。
• 使用多层感知机（MLP）融合所有三个通道经CNN处理后的特征，生成最终匹配得分。
• 端到端训练词嵌入，使用从Twitter数据微调后的GloVe向量初始化，并在关键非线性单元中使用tanh激活函数。
• 通过在800万条Yahoo! Answers问题上进行Twitter LDA主题建模，自动生成先验知识，每个主题的向量通过取前20个词的平均值生成。

实验结果

研究问题

• RQ1 在传统模型表现困难的长文本对中，整合先验知识是否能提升语义匹配性能？
• RQ2 词级别、序列结构和知识增强匹配通道的融合如何影响整体匹配准确率？
• RQ3 知识门是否能有效降低噪声并增强长文本匹配中的相关语义信号？
• RQ4 模型性能在不同文本长度下如何变化，特别是在长文本对上？
• RQ5 在问答和响应选择等不同NLP任务中，各匹配通道的相对贡献如何？

主要发现

• KEHNN在响应选择和问答任务中均显著优于最先进模型，在Ubuntu对话数据集上分别达到0.786 R@1和0.819 R@5的性能。
• 在长文本对（长度≥90）上，KEHNN达到74.6%的准确率，相比MV-LSTM提升1.3%，相比LSTM提升4.6%，展现出对长输入的强大鲁棒性。
• 在问答数据集上，KEHNN在最长文本对（≥90）上达到79.1%的准确率，相比MV-LSTM（69.4%）和LSTM（71.8%）提升超过9%，在该挑战性子集上表现优异。
• 包含全部三个通道的完整模型达到74.8%的准确率，显著优于任一单一通道，其中通道二（序列结构）在对话数据上最有效，通道三（知识增强）在问答数据上表现最佳。
• 在所有评估指标上，KEHNN相比所有基线模型均表现出统计显著性提升（p ≤ 0.01），证实了知识注入与多通道匹配的有效性。
• 通过LDA自动生成的主题所获得的先验知识可提升性能，尽管此类知识中的噪声略微降低了知识增强通道在对话任务中的有效性，相比问答任务稍弱。