[论文解读] Exploring BERT Parameter Efficiency on the Stanford Question Answering Dataset v2.0

Eric Hulburd|arXiv (Cornell University)|Feb 25, 2020

Topic Modeling参考文献 9被引用 6

一句话总结

该论文通过冻结Transformer层、应用适配器模块并测试上下文感知CNN，评估了BERT在SQuAD2.0问答任务中的参数效率。结果表明，适配器模块仅使用BERT参数的26%即可实现75.0%的高F1性能，而上下文感知CNN表现较差且显著增加了推理时间。

ABSTRACT

In this paper we explore the parameter efficiency of BERT arXiv:1810.04805 on version 2.0 of the Stanford Question Answering dataset (SQuAD2.0). We evaluate the parameter efficiency of BERT while freezing a varying number of final transformer layers as well as including the adapter layers proposed in arXiv:1902.00751. Additionally, we experiment with the use of context-aware convolutional (CACNN) filters, as described in arXiv:1709.08294v3, as a final augmentation layer for the SQuAD2.0 tasks. This exploration is motivated in part by arXiv:1907.10597, which made a compelling case for broadening the evaluation criteria of artificial intelligence models to include various measures of resource efficiency. While we do not evaluate these models based on their floating point operation efficiency as proposed in arXiv:1907.10597, we examine efficiency with respect to training time, inference time, and total number of model parameters. Our results largely corroborate those of arXiv:1902.00751 for adapter modules, while also demonstrating that gains in F1 score from adding context-aware convolutional filters are not practical due to the increase in training and inference time.

研究动机与目标

• 通过层冻结和适配器模块等技术，评估BERT在SQuAD2.0上的参数效率。
• 评估模型性能、训练时间、推理时间与参数量之间的权衡。
• 探究上下文感知CNN是否优于标准BERT微调的性能。
• 确定适配器模块是否可在减少参数量的同时作为全微调的可行替代方案。
• 探索冻结BERT早期层对效率和性能的影响。

提出的方法

• 在微调时冻结不同数量的BERT最终Transformer层，仅微调剩余层。
• 在BERT层之间插入适配器模块，仅训练适配器参数，同时保持BERT权重冻结。
• 在BERT之后应用上下文感知卷积（CACNN）滤波器作为最终层，分别测试有无上下文向量化的情况。
• 训练不同尺寸的适配器（64、768），并与全微调进行性能对比。
• 测量所有配置下的训练时间、推理时间和F1分数。
• 以标准BERT-base架构作为基础模型，不进行任何任务特定修改。

实验结果

研究问题

• RQ1 适配器模块是否能在减少可训练参数量的同时，在SQuAD2.0上实现具有竞争力的F1分数？
• RQ2 冻结BERT早期层是否能在不降低性能的前提下减少训练时间和参数量？
• RQ3 上下文感知CNN是否能提升答案跨度预测性能，优于标准BERT微调？
• RQ4 不同适配器尺寸和CACNN配置下，训练和推理时间如何变化？
• RQ5 CACNN带来的性能提升是否足以抵消其在训练和推理时间上的显著增加？

主要发现

• 在所有BERT层均冻结的情况下，768尺寸适配器模型实现了75.0%的F1分数，接近全微调BERT的75.8%，同时仅使用了26%的参数。
• 适配器模型的训练时间几乎与全微调BERT相同，但推理时间增加了约20%（188.8秒 vs. 154.3秒）。
• 具有200个特征图的上下文感知CNN使推理时间增加了80%（261.5秒），F1分数仅为61.2%，显著低于适配器模型。
• 性能最佳的CACNN（200个滤波器）每个样本的推理时间增加了9.5毫秒，这在低延迟系统中可能具有重要意义。
• 冻结BERT前六层显著减少了可训练参数量和训练时间，且未影响推理时间或模型大小。
• 与CACNN相比，适配器模块在参数效率方面表现更优；尽管某些情况下CACNN参数量较高，但其性能表现较差。