[论文解读] Lattice CNNs for Matching Based Chinese Question Answering

Yuxuan Lai, Yansong Feng+4 more|arXiv (Cornell University)|Feb 25, 2019

Topic Modeling参考文献 30被引用 5

一句话总结

本文提出了一种新型神经网络架构——格子卷积神经网络（Lattice CNNs, LCNs），通过利用词格子捕捉中文文本匹配中的多粒度信息，用于问答任务。通过同时处理词语和字符，并采用动态卷积核与门控池化机制，LCNs 在基于文档和基于知识的中文问答任务中均超越了当前最先进模型，展现出对分词差异和表达多样性的更强鲁棒性。

ABSTRACT

Short text matching often faces the challenges that there are great word mismatch and expression diversity between the two texts, which would be further aggravated in languages like Chinese where there is no natural space to segment words explicitly. In this paper, we propose a novel lattice based CNN model (LCNs) to utilize multi-granularity information inherent in the word lattice while maintaining strong ability to deal with the introduced noisy information for matching based question answering in Chinese. We conduct extensive experiments on both document based question answering and knowledge based question answering tasks, and experimental results show that the LCNs models can significantly outperform the state-of-the-art matching models and strong baselines by taking advantages of better ability to distill rich but discriminative information from the word lattice input.

研究动机与目标

• 解决中文短文本匹配问答任务中分词歧义与表达多样性带来的挑战。
• 克服固定分词流水线的局限性，该类方法因分词错误和粒度不匹配而限制匹配性能。
• 探索将词格子（表示所有可能的词与字符分词结果）作为神经网络输入，以实现更丰富、上下文感知的特征学习。
• 通过不依赖单一分词结果的多粒度表征，提升基于文档和基于知识的中文问答任务中的匹配性能。
• 构建一个可扩展且高效的深度学习框架，在保持强噪声鲁棒性的同时，捕捉复杂格子结构中的判别性特征。

提出的方法

• 采用孪生网络架构，对问题与候选答案对进行共享权重的匹配分数预测。
• 输入词格子——其中每个可能的词与字符均作为具有上下文感知连接的节点——而非固定词或字符序列。
• 应用具有动态感受野大小的卷积层，同时提取多粒度的 n-gram 特征，实现在词与字符层面的上下文感知特征学习。
• 采用门控池化机制，选择性聚合来自不同上下文的特征，增强对噪声的鲁棒性并提升特征判别力。
• 通过侧向连接与池化操作整合多粒度表征，同时保留局部与全局的句子级语义。
• 端到端训练，使用对比损失优化相关问答对之间的匹配分数，同时关注对噪声格子输入的过拟合问题。

实验结果

研究问题

• RQ1 神经网络模型能否有效利用词格子中的多粒度信息，以提升中文问答中的文本匹配性能？
• RQ2 基于格子的卷积神经网络架构在处理分词歧义与表达多样性方面，相较于传统词级或字级模型表现如何？
• RQ3 基于格子的建模在基于文档与基于知识的中文问答任务中，能在多大程度上提升性能？
• RQ4 与标准 CNN 或 RNN 相比，所提出的 LCN 模型在面对噪声或模糊的格子输入时是否保持更强的鲁棒性？
• RQ5 基于词典与语言模型的格子构建策略，是否优于结合多种分词或字符级嵌入的混合方法？

主要发现

• LCNs 在基于文档与基于知识的中文问答基准测试中，显著超越当前最先进匹配模型及强基线 CNN 模型。
• 该模型通过有效捕捉格子输入中的多粒度特征，实现对多样化表达的更好对齐，从而取得更优性能。
• 实验表明，基于词典的格子构造方法优于结合多种分词或字符级输入的策略，表明结构化格子表征的价值。
• 门控池化机制与动态卷积核显著提升了对噪声的鲁棒性，降低了对分词错误的敏感度。
• 案例研究显示，LCNs 能够通过词语与字符之间的共现模式，正确识别关键语义单元（如将 'YongHu' 识别为 'user'，'WangZhan' 识别为 'website'）。
• 即使在词语重叠极少的情况下，LCNs 仍能保持优异性能，证明其具备超越表面词汇匹配的语义相似性推理能力。