[论文解读] BERT-DRE: BERT with Deep Recursive Encoder for Natural Language Sentence Matching

Ehsan Tavan, Ali Rahmati+3 more|arXiv (Cornell University)|Nov 3, 2021

Topic Modeling被引用 4

一句话总结

本文提出 BERT-DRE，一种深度递归编码器架构，通过在 BERT 中添加三层双向 LSTM 与残差连接及注意力机制，提升自然语言处理中的句子匹配性能。该模型在多个基准测试中达到最先进水平，包括在新型波斯语宗教问题数据集上实现 90.29% 的准确率，较标准 BERT 提升 0.59%。

ABSTRACT

This paper presents a deep neural architecture, for Natural Language Sentence Matching (NLSM) by adding a deep recursive encoder to BERT so called BERT with Deep Recursive Encoder (BERT-DRE). Our analysis of model behavior shows that BERT still does not capture the full complexity of text, so a deep recursive encoder is applied on top of BERT. Three Bi-LSTM layers with residual connection are used to design a recursive encoder and an attention module is used on top of this encoder. To obtain the final vector, a pooling layer consisting of average and maximum pooling is used. We experiment our model on four benchmarks, SNLI, FarsTail, MultiNLI, SciTail, and a novel Persian religious questions dataset. This paper focuses on improving the BERT results in the NLSM task. In this regard, comparisons between BERT-DRE and BERT are conducted, and it is shown that in all cases, BERT-DRE outperforms BERT. The BERT algorithm on the religious dataset achieved an accuracy of 89.70%, and BERT-DRE architectures improved to 90.29% using the same dataset.

研究动机与目标

• 通过解决 BERT 在捕捉复杂语义关系方面的局限性，提升其在自然语言句子匹配（NLSM）任务中的性能。
• 设计一种深度递归编码器，通过句法结构的分层建模增强 BERT 的上下文表征能力。
• 在多语言基准与新收集的波斯语宗教问题数据集上评估模型，以验证其在真实场景中的适用性。
• 通过消融研究分析残差连接、LSTM 层数量及 LSTM 单元数等架构组件的影响。
• 展示模型在低资源与高资源 NLP 任务中的泛化潜力，包括问答与蕴含任务。

提出的方法

• 将 BERT 作为上下文嵌入层，为输入句子对提供丰富的初始表征。
• 应用由三层堆叠的双向 LSTM 层构成的深度递归编码器，配合残差连接，以建模长距离依赖与分层语义。
• 在 LSTM 输出之上引入注意力机制，动态加权关键词汇，提升语义表征质量。
• 使用结合平均池化与最大池化的池化层，生成鲁棒且不变的句子级表征。
• 在下游 NLSM 任务上端到端微调整个模型，采用交叉熵损失函数。
• 开展消融研究，评估残差连接、LSTM 层数量及 LSTM 单元数的贡献。

实验结果

研究问题

• RQ1 具有残差连接的深度递归编码器能否提升 BERT 在句子匹配任务中的性能？
• RQ2 LSTM 层数量与隐藏单元数如何影响模型在不同 NLSM 基准上的表现？
• RQ3 残差连接对递归编码器模块的训练稳定性和性能有何影响？
• RQ4 BERT-DRE 是否能在低资源语言上有效泛化，如在新收集的波斯语宗教问题数据集上所示？
• RQ5 BERT-DRE 与 MT-DNN、BERT-wwm 等其他最先进模型相比，在标准 NLSM 基准上表现如何？

主要发现

• 在新型波斯语宗教问题数据集上，BERT-DRE 达到 90.29% 的准确率，优于标准 BERT 的 89.70%。
• 在 MultiNLI 基准上，BERT-DRE 在测试集上取得 87.34% 的 F1 分数，超过 BERT 的 85.9%，并优于多个最先进模型。
• 消融研究显示，每层 128 个单元的三层双向 LSTM 与残差连接在所有数据集上均达到最优性能。
• 移除残差连接会显著降低性能，表明其在训练深层递归网络中的关键作用。
• 在 SNLI、FarsTail、MultiNLI 和 SciTail 四个基准数据集上，模型均一致优于 BERT。
• 注意力机制与池化层有助于生成更鲁棒、更具信息量的句子表征，尤其在处理释义与蕴含任务中的语义相似性方面表现突出。