[论文解读] BERTQA -- Attention on Steroids

Ankit Chadha, Rewa Sood|arXiv (Cornell University)|Dec 14, 2019

Topic Modeling参考文献 6被引用 5

一句话总结

BERTQA 在 BERT 中引入了定向共注意机制——上下文到查询（C2Q）和查询到上下文（Q2C）——以提升 SQuAD 2.0 中答案跨度检测的性能。通过将这些机制与残差连接及一维卷积结合以提取局部特征，该模型在基础架构上实现了 77.03 的 F1 分数，在集成模型上达到 82.317 F1 / 79.442 EM，显著提升了无答案检测能力与泛化性能，得益于使用回译数据集（SQUAD 2.Q）。

ABSTRACT

In this work, we extend the Bidirectional Encoder Representations from Transformers (BERT) with an emphasis on directed coattention to obtain an improved F1 performance on the SQUAD2.0 dataset. The Transformer architecture on which BERT is based places hierarchical global attention on the concatenation of the context and query. Our additions to the BERT architecture augment this attention with a more focused context to query (C2Q) and query to context (Q2C) attention via a set of modified Transformer encoder units. In addition, we explore adding convolution-based feature extraction within the coattention architecture to add localized information to self-attention. We found that coattention significantly improves the no answer F1 by 4 points in the base and 1 point in the large architecture. After adding skip connections the no answer F1 improved further without causing an additional loss in has answer F1. The addition of localized feature extraction added to attention produced an overall dev F1 of 77.03 in the base architecture. We applied our findings to the large BERT model which contains twice as many layers and further used our own augmented version of the SQUAD 2.0 dataset created by back translation, which we have named SQUAD 2.Q. Finally, we performed hyperparameter tuning and ensembled our best models for a final F1/EM of 82.317/79.442 (Attention on Steroids, PCE Test Leaderboard).

研究动机与目标

• 通过引入定向共注意机制，提升 BERT 在 SQuAD 2.0 上的性能，特别是在检测无答案问题方面。
• 通过聚焦查询与上下文之间分层、上下文感知的注意流，弥补 BERT 全局注意力的局限性。
• 通过整合一维卷积以捕捉局部文本模式，增强特征表示能力，同时保留全局自注意力机制。
• 通过使用回译技术进行数据增强，构建更具多样性的训练集（SQUAD 2.Q），以提升模型泛化能力。
• 通过优化与模型集成，实现在 SQuAD 2.0 开发集上的最先进性能，尤其在无答案 F1 指标上表现突出。

提出的方法

• 在 BERT 的自注意力机制中引入专用的 C2Q 和 Q2C 共注意模块，以定向、分层的方式处理查询与上下文表示。
• 在共注意层之后引入残差（跳跃）连接，以稳定训练过程并改善梯度流动。
• 在共注意架构中插入一维卷积层，以提取局部 n-gram 特征，增强对短距离依赖关系的表征能力。
• 使用开始与结束跨度预测头的组合，在 SQuAD 2.0 上微调修改后的 BERT 架构，分别输出开始与结束位置的 logits。
• 通过神经机器翻译（NMT）将 SQuAD 2.0 示例回译为英文，构建增强数据集 SQUAD 2.Q，以提升语言多样性与鲁棒性。
• 进行超参数调优，并对表现最佳的三个模型进行集成，以提升泛化能力与鲁棒性，尤其针对无答案问题。

实验结果

研究问题

• RQ1 定向共注意（C2Q 与 Q2C）是否能提升 BERT 在 SQuAD 2.0 中检测无答案问题的能力？
• RQ2 在共注意机制中引入一维卷积层是否能通过捕捉局部文本模式来提升性能？
• RQ3 通过回译进行数据增强（SQUAD 2.Q）在多大程度上提升了模型的泛化能力与鲁棒性？
• RQ4 残差连接与集成学习在 F1 与 EM 分数上产生了何种影响，特别是在无答案问题上的表现？
• RQ5 共注意机制是否如定性分析所示，能比标准 BERT 注意力更好地保留词对关联关系？

主要发现

• 在基础 BERT 模型中引入 C2Q 与 Q2C 共注意机制后，无答案 F1 提升了 4 个百分点；在大型模型中提升了 1 个百分点。
• 残差连接进一步提升了无答案 F1，且未降低有答案 F1，表明模型泛化能力与训练稳定性均得到改善。
• 在集成共注意机制与卷积特征提取后，基础模型在开发集上的 F1 达到 77.03。
• 最终集成模型在 SQuAD 2.0 测试集上实现了 82.317 的 F1 与 79.442 的 EM，相比 BERT Large 提升了 3.5 个百分点。
• 定性分析表明，该模型通过保留词对关联（如将 'spirit' 与 'Christian' 视为独立概念）正确识别了无答案问题，而 BERT Large 则错误地将二者合并。
• 错误分析显示，该模型显著减少了对 'What' 类问题的错误（比基线少 30 个错误），但 'Which' 与 'What' 类问题因回译产生的伪影而存在混淆。