[论文解读] DABERT: Dual Attention Enhanced BERT for Semantic Matching

Sirui Wang, Di Liang+3 more|arXiv (Cornell University)|Oct 7, 2022

Topic Modeling被引用 6

一句话总结

DABERT 提出了一种双注意力机制，通过显式建模句子对之间的亲和力与差异性特征，增强了 BERT。该模型采用双通道注意力模块和自适应融合机制，在语义匹配任务上实现了超过 2% 的绝对性能提升，并且在面对微小文本扰动时，相比 BERT 及其他 BERT 基础模型表现出更优的鲁棒性。

ABSTRACT

Transformer-based pre-trained language models such as BERT have achieved remarkable results in Semantic Sentence Matching. However, existing models still suffer from insufficient ability to capture subtle differences. Minor noise like word addition, deletion, and modification of sentences may cause flipped predictions. To alleviate this problem, we propose a novel Dual Attention Enhanced BERT (DABERT) to enhance the ability of BERT to capture fine-grained differences in sentence pairs. DABERT comprises (1) Dual Attention module, which measures soft word matches by introducing a new dual channel alignment mechanism to model affinity and difference attention. (2) Adaptive Fusion module, this module uses attention to learn the aggregation of difference and affinity features, and generates a vector describing the matching details of sentence pairs. We conduct extensive experiments on well-studied semantic matching and robustness test datasets, and the experimental results show the effectiveness of our proposed method.

研究动机与目标

• 为解决 BERT 在区分语义不同但文本相似的句子对时的局限性。
• 通过双通道注意力机制，显式建模句子对之间的细粒度语义差异。
• 设计一种软性自适应融合机制，将亲和力与差异性特征整合，同时不破坏 BERT 的预训练表示。
• 提升模型对微小文本扰动（如词语增删或替换）的鲁棒性。
• 在标准语义匹配基准上实现最先进性能，同时保持端到端可训练性。

提出的方法

• 引入双注意力模块，采用两条并行注意力流：一条用于亲和力（标准自注意力），另一条用于差异性（基于减法的交叉注意力），以捕捉语义对比。
• 采用双通道注入机制，将差异性和亲和力表示嵌入多头注意力层，以保留独立的语义信号。
• 设计自适应融合模块，利用交叉注意力对齐差异性和亲和力特征，随后通过门控融合实现自适应整合。
• 应用融合门控模块对融合表示进行缩放，最大限度减少对 BERT 预训练表示的干扰。
• 对整个模型进行端到端训练，实现在预训练 BERT 框架中软性集成差异建模。
• 通过注意力权重可视化验证，模型聚焦于对比性词语（如 'hardware' 与 'software'），而非共享词汇。

实验结果

研究问题

• RQ1 如何增强 BERT 中的原始自注意力机制，以更好地捕捉句子对之间的细粒度语义差异？
• RQ2 在不降低预训练模型性能的前提下，融合亲和力与差异性表示的最佳方式是什么？
• RQ3 显式建模语义差异是否能提升语义匹配任务中对微小文本扰动的鲁棒性？
• RQ4 双通道注意力机制在捕捉细微语义对比方面，与标准注意力机制相比表现如何？
• RQ5 与硬性或固定权重融合策略相比，自适应融合机制在提升匹配准确率方面有多大改善？

主要发现

• 与标准 BERT 相比，DABERT 在 10 个公开语义匹配数据集上的平均性能实现了超过 2% 的绝对提升。
• 即使未使用额外数据，该模型也优于其他使用先进技巧或外部知识的 BERT 基础模型。
• 在注入噪声（如词语互换、删除）的鲁棒性评估数据集上，DABERT 的准确率显著高于 BERT 及其他基线模型。
• 案例研究显示，当存在细微差异（如 '12' 与 '24'）导致语义冲突时，DABERT 能正确识别，而 BERT 和 Syntax-BERT 则失败。
• 注意力可视化结果表明，DABERT 显著提高了对对比性词语（如 'hardware' 和 'software'）的注意力权重，表明其有效实现了差异建模。
• 自适应融合机制成功平衡了亲和力与差异性信号，减少了注入特征带来的表示退化。