[论文解读] Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks

Yinan Zhang, Raphael Tang+1 more|arXiv (Cornell University)|Nov 7, 2019

Topic Modeling参考文献 20被引用 4

一句话总结

本文提出将一种显式的成对词语交互（PWI）模块——最初用于预变换器模型——整合到 BERT 中，以提升英语语义相似度任务的性能。通过在 BERT 的自注意力层之后添加一个受约束的卷积型 P WI 层，该模型在四个基准数据集上均实现了稳定且具有统计显著性的性能提升，表明显式交互建模可增强预训练变换器模型的性能，即使自注意力机制已隐式捕捉了全局交互关系。

ABSTRACT

In English semantic similarity tasks, classic word embedding-based approaches explicitly model pairwise "interactions" between the word representations of a sentence pair. Transformer-based pretrained language models disregard this notion, instead modeling pairwise word interactions globally and implicitly through their self-attention mechanism. In this paper, we hypothesize that introducing an explicit, constrained pairwise word interaction mechanism to pretrained language models improves their effectiveness on semantic similarity tasks. We validate our hypothesis using BERT on four tasks in semantic textual similarity and answer sentence selection. We demonstrate consistent improvements in quality by adding an explicit pairwise word interaction module to BERT.

研究动机与目标

• 探究显式成对词语交互机制（历史上在预变换器模型中表现优异）是否能提升现代预训练变换器模型（如 BERT）的性能。
• 通过引入一个受约束的显式交互模块，弥补当前基于变换器的模型仅通过自注意力机制隐式建模词语交互的不足。
• 评估将 BERT 与结构化 PWI 模块结合是否能提升在语义文本相似度和答案句子选择任务上的性能。

提出的方法

• 在 BERT 的最后一层之后集成一个深度成对词语交互（VDPWI）模块，该模块计算两句话词表示之间的成对距离矩阵。
• 对成对交互矩阵应用卷积神经网络（CNN），以提取局部模式，将语义相似度视为模式识别任务。
• 采用联合编码方案，将两句话用 [CLS] 和 [SEP] 标记拼接后，共同通过 BERT 处理，随后输入 PWI 模块。
• 使用标准微调流程端到端训练联合模型，损失函数根据各数据集定制：回归任务（STS-B、SICK）使用 Kullback–Leibler 散度，分类任务（WikiQA、TrecQA）使用负对数似然。
• 通过消融实验评估在 PWI 模块中使用 BiLSTM 的必要性，对比有无 BiLSTM 的模型。
• 对 PWI 模块使用 RMSProp 进行训练，对 BERT 微调使用 Adam，超参数通过开发集上的网格搜索与随机搜索进行调优。

实验结果

研究问题

• RQ1 在 BERT 中添加显式、受约束的成对词语交互模块是否能提升其在语义相似度任务上的性能？
• RQ2 对于具有显式 PWI 的模型，联合编码方案（即两句话共同处理）是否比分别编码更有效？
• RQ3 在 PWI 模块中引入 BiLSTM 是否能带来相较于仅使用 CNN 的架构的显著性能提升？
• RQ4 显式 PWI 带来的性能提升在多个语义相似度基准上是否具有统计显著性？
• RQ5 显式交互建模是否能与 BERT 中隐式的全局注意力机制互补，实现一致的性能增益，且不会导致过拟合或退化解？

主要发现

• 在 BERT 中添加显式成对词语交互模块，可在所有四个语义相似度任务（STS-B、SICK、WikiQA 和 TrecQA）上实现一致的性能提升。
• 所有数据集上的平均性能提升达 0.9 个点，且通过单侧 Wilcoxon 符号秩检验验证了统计显著性（p < 0.05）。
• 句子对的联合编码始终优于分别编码，尤其在 TrecQA 上性能差距最高达 14 分；分别编码在某些情况下导致退化解。
• 在 PWI 模块中引入 BiLSTM 并未带来相较于仅使用 CNN 架构的统计显著性能提升，表明其对性能增益并非必要。
• 表现最佳的配置（如 BERT 搭配 VDPWI 和联合编码）在所有数据集上均优于原始 BERT 和独立的 VDPWI 模型，表明显式交互与预训练表示之间存在协同增益。