[论文解读] Chinese Sentences Similarity via Cross-Attention Based Siamese Network
该论文提出 CATsNet，一种基于交叉注意力的孪生神经网络，通过使用交叉注意力机制建模两句话之间的依赖关系，并利用双向LSTM层增强特征提取，从而提升中文句子相似度。该模型在 LCQMC 数据集上达到 83.15% 的准确率，优于先前基于自注意力、LSTM 和 CNN 架构的孪生模型。
Measuring sentence similarity is a key research area nowadays as it allows machines to better understand human languages. In this paper, we proposed a Cross-Attention Siamese Network (CATsNet) to carry out the task of learning the semantic meanings of Chinese sentences and comparing the similarity between two sentences. This novel model is capable of catching non-local features. Additionally, we also tried to apply the long short-term memory (LSTM) network in the model to improve its performance. The experiments were conducted on the LCQMC dataset and the results showed that our model could achieve a higher accuracy than previous work.
研究动机与目标
- 为解决中文句子之间语义相似度准确度量的挑战，该挑战因字符级歧义和缺乏词边界而复杂化。
- 通过建模跨句子依赖关系，超越自注意力或局部特征提取器所能实现的效果，改进句子表征学习。
- 通过结合全局上下文建模（通过交叉注意力）与序列建模（通过双向LSTM），提升中文句子相似度任务的性能。
- 在大规模中文自然语言处理基准上验证孪生架构中引入交叉注意力与双向LSTM组件的有效性。
提出的方法
- 该模型采用共享权重的孪生网络结构，同时处理两个输入句子，从而实现其语义表征的比较。
- 交叉注意力模块从两个句子嵌入中计算查询、键和值矩阵，使注意力计算跨越句子而非局限于单个句子内部。
- 交叉注意力机制通过关注另一句子中的相关标记，计算上下文感知的表征，捕捉句子间的依赖关系。
- 将变换器编码器块中的前馈网络替换为双向LSTM（Bi-LSTM），以更好地捕捉句子表征中的序列模式。
- 最终的句子表征被输入分类器以预测相似度，训练数据中的类别不平衡问题通过焦点损失（focal loss）进行处理。
- 该模型在 LCQMC 数据集上进行训练与评估，该数据集是一个大规模中文问题匹配语料库，包含 238,766 对训练样本和 12,500 对测试样本。
实验结果
研究问题
- RQ1基于交叉注意力机制的孪生网络是否能在中文句子相似度任务中超越自注意力机制以及传统的 RNN/CNN 模型？
- RQ2将变换器编码器中的前馈网络替换为双向LSTM是否能提升句子表征学习在相似度任务中的表现？
- RQ3交叉注意力与双向LSTM的结合在建模句子间与句子内依赖关系方面有多高效？
- RQ4焦点损失的使用是否能提升模型在类别不平衡的句子相似度数据集上的性能？
主要发现
- CATsNet 在 LCQMC 数据集上达到 83.15% 的准确率，显著优于最佳基线模型（孪生卷积网络）的 77.31%。
- 采用多层感知机（MLP）头的交叉注意力孪生模型达到 81.99% 的准确率，表明建模句子间依赖关系可显著提升性能，优于仅使用自注意力机制。
- 自注意力孪生模型达到 78.61% 的准确率，表明注意力机制优于基于 RNN 的模型，如孪生 LSTM（68.63%）与孪生双向LSTM（68.64%）。
- 消融实验表明，将交叉注意力与双向LSTM结合可获得最佳性能，表明全局上下文建模与序列建模具有互补性。
- 验证准确率曲线显示，CATsNet 在所有训练周期中均持续优于其他孪生模型，表明其训练动态具有鲁棒性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。