[论文解读] TRANS-BLSTM: Transformer with Bidirectional LSTM for Language Understanding

Zhiheng Huang, Peng Xu+3 more|arXiv (Cornell University)|Mar 16, 2020

Topic Modeling参考文献 27被引用 25

一句话总结

本文提出 TRANS-BLSTM，一种混合架构，将双向长短期记忆网络（BLSTM）层整合到 BERT 的每个 Transformer 块中，结合了 Transformer 的长距离注意力机制与 BLSTM 的序列建模优势。该模型在 SQuAD 1.1 上达到最先进性能（F1：94.01%），并在 GLUE 基准测试中持续优于 BERT 基线模型，表明架构融合可提升表征学习能力，而不仅依赖模型规模的扩大。

ABSTRACT

Bidirectional Encoder Representations from Transformers (BERT) has recently achieved state-of-the-art performance on a broad range of NLP tasks including sentence classification, machine translation, and question answering. The BERT model architecture is derived primarily from the transformer. Prior to the transformer era, bidirectional Long Short-Term Memory (BLSTM) has been the dominant modeling architecture for neural machine translation and question answering. In this paper, we investigate how these two modeling techniques can be combined to create a more powerful model architecture. We propose a new architecture denoted as Transformer with BLSTM (TRANS-BLSTM) which has a BLSTM layer integrated to each transformer block, leading to a joint modeling framework for transformer and BLSTM. We show that TRANS-BLSTM models consistently lead to improvements in accuracy compared to BERT baselines in GLUE and SQuAD 1.1 experiments. Our TRANS-BLSTM model obtains an F1 score of 94.01% on the SQuAD 1.1 development dataset, which is comparable to the state-of-the-art result.

研究动机与目标

• 探究将 Transformer 与双向 LSTM（BLSTM）架构结合，是否可在不增加模型规模的前提下提升语言表征能力。
• 通过引入 BLSTM 的序列建模能力，缓解 BERT 的掩码语言建模预训练目标的局限性。
• 构建一种联合建模框架，充分利用 Transformer（长距离依赖建模）与 BLSTM（上下文序列建模）的优势。
• 评估该混合架构在标准 NLP 基准测试中是否优于纯 BERT 与独立的 BLSTM 模型。
• 探究架构增强是否能带来稳定准确率提升，而非仅依赖模型规模的扩大。

提出的方法

• 所提出的 TRANS-BLSTM 架构在 Transformer 编码器的每个多头自注意力模块后插入一个 BLSTM 层。
• 每个 Transformer 块通过多头自注意力处理输入，随后经过前馈网络与残差连接，再对残差输出应用额外的 BLSTM 层。
• 预训练阶段采用完整词掩码策略，相比 BERT 的部分词掩码，性能更优。
• 在下游任务上通过标准 BERT 风格微调进行训练，包含学习率搜索与多次随机重启以提升稳定性。
• 在 SQuAD 1.1 与 GLUE 基准上评估该方法，对比 BERT-base、BERT-large 与 BERT-xlarge 模型。
• 模型使用标准 BERT 超参数进行训练，包括批量大小 32 和 GLUE 任务上的 3 个周期微调。

实验结果

研究问题

• RQ1 在每个 Transformer 块中集成 BLSTM 层，是否可在 NLP 基准测试中提升性能，优于标准 BERT？
• RQ2 Transformer 与 BLSTM 的联合建模是否能缓解 BERT 中存在的预训练-微调差异问题？
• RQ3 性能提升源于架构融合，还是仅因模型容量增加？
• RQ4 在准确率与训练稳定性方面，该混合模型与独立的 BLSTM 和 BERT 模型相比表现如何？
• RQ5 在准确率提升方面，架构增强是否优于单纯扩大模型规模？

主要发现

• TRANS-BLSTM 模型在 SQuAD 1.1 开发集上取得 94.01% 的 F1 分数，达到最先进水平。
• 在 SQuAD 1.1 上，大型 TRANS-BLSTM 模型将基础 BERT 模型的 F1 分数从 90.05% 提升至 94.01%，表现持续提升。
• 在 GLUE 基准上，TRANS-BLSTM 基础模型将平均得分从 84.63%（TRANS/BERT）提升至 85.35%，大型模型则从 85.59% 提升至 86.50%。
• 48 层的 TRANS/BERT-48 模型未在性能上超越 24 层的 BERT-large 模型，表明深度增加存在收益递减现象。
• 单纯将 BERT-large 的隐藏层大小加倍（至 2048）后，SQuAD 1.1 上的 F1 分数下降至 86.3%，表明仅增加模型规模会损害性能。
• 该模型在准确率上优于独立的 BLSTM 与 BERT-base 模型，证实融合架构优于单一组件。