[论文解读] Grid Search Hyperparameter Benchmarking of BERT, ALBERT, and LongFormer on DuoRC

Alex John Quijano, Sam Nguyen+1 more|arXiv (Cornell University)|Jan 15, 2021

Topic Modeling参考文献 19被引用 6

一句话总结

本研究针对 BERT、ALBERT 和 LongFormer 模型在 DuoRC 阅读理解数据集上进行了全面的网格搜索超参数基准测试，微调模型使用在 SQuAD 和 DuoRC 上预训练的权重。在 SelfRC 上微调的 ALBERT 模型取得了最高的 F1 得分 76.4 和准确率 68.52；而预训练于 SelfRC 的 LongFormer 在 ParaphraseRC 上表现最佳，F1 得分为 52.78，准确率为 46.60。

ABSTRACT

The purpose of this project is to evaluate three language models named BERT, ALBERT, and LongFormer on the Question Answering dataset called DuoRC. The language model task has two inputs, a question, and a context. The context is a paragraph or an entire document while the output is the answer based on the context. The goal is to perform grid search hyperparameter fine-tuning using DuoRC. Pretrained weights of the models are taken from the Huggingface library. Different sets of hyperparameters are used to fine-tune the models using two versions of DuoRC which are the SelfRC and the ParaphraseRC. The results show that the ALBERT (pretrained using the SQuAD1 dataset) has an F1 score of 76.4 and an accuracy score of 68.52 after fine-tuning on the SelfRC dataset. The Longformer model (pretrained using the SQuAD and SelfRC datasets) has an F1 score of 52.58 and an accuracy score of 46.60 after fine-tuning on the ParaphraseRC dataset. The current results outperformed the results from the previous model by DuoRC.

研究动机与目标

• 通过系统性的超参数调优，评估 BERT、ALBERT 和 LongFormer 在 DuoRC 阅读理解数据集上的性能。
• 使用网格搜索在多种配置下确定每个模型的最优超参数。
• 在 DuoRC 的两个子集（SelfRC：较短的原始情节；ParaphraseRC：较长的改写情节）之间比较模型性能。
• 评估预训练数据（如 SQuAD1、SQuAD2、SelfRC）对阅读理解任务微调性能的影响。
• 为基于 Transformer 的模型在具有复杂推理需求的叙事性与改写文本理解任务上建立基准。

提出的方法

• BERT、ALBERT 和 LongFormer 的预训练权重均来自 Hugging Face 模型库。
• 对多个超参数执行了网格搜索：最大序列长度（msl）、dropout 率（ds）、最大查询长度（mql）和训练批量大小（tbs）。
• 模型在 DuoRC 的两个子集上进行微调：SelfRC（原始短篇情节）和 ParaphraseRC（更长的改写情节）。
• 评估指标包括每种超参数配置在验证集和测试集上的 F1 得分与准确率。
• 基于验证集表现选择最佳性能的超参数组合，并在测试集上报告最终结果。
• 使用标准的 Hugging Face Transformers 训练流水线进行微调，损失函数为交叉熵，优化器为 AdamW。

实验结果

研究问题

• RQ1 在超参数调优后，哪种 BERT 基础模型（BERT、ALBERT、LongFormer）在 DuoRC 数据集上表现最佳？
• RQ2 预训练数据（SQuAD1、SQuAD2、SelfRC）如何影响在 DuoRC 上的微调性能？
• RQ3 哪些超参数配置（msl、ds、mql、tbs）在 SelfRC 和 ParaphraseRC 子集上能实现最优的 F1 和准确率？
• RQ4 为什么 SelfRC 和 ParaphraseRC 之间的 F1 和准确率存在差异？模型架构在这一差距中起到什么作用？
• RQ5 尽管绝对得分较低，LongFormer 作为专为长上下文设计的模型，是否能在更长的 ParaphraseRC 子集上优于其他模型？

主要发现

• 在 SQuAD1 上预训练的 ALBERT 模型在微调后于 SelfRC 数据集上取得了最高的 F1 得分 76.4 和准确率 68.52。
• 在 SelfRC 上预训练的 LongFormer 模型在 ParaphraseRC 上表现最佳，F1 得分为 52.78，准确率为 46.60。
• 使用最大序列长度 384 个 token 和批量大小 64 进行微调，在所有模型中均表现出一致的优异性能。
• 在 DuoRC 特定数据（如 selfduorc）上预训练的模型相较于 SQuAD 预训练模型表现出适度改进，尤其在 ParaphraseRC 设置下更为明显。
• ParaphraseRC 上的 F1 得分始终低于 SelfRC，表明由于上下文更长且词汇重叠度降低，任务难度更高。
• LongFormer 在 ParaphraseRC 上表现最佳的配置为序列长度 768、dropout 0.3 和批量大小 4，在验证集上实现了 52.78 的 F1 得分。