[论文解读] Comparative Study of Machine Learning Models and BERT on SQuAD

Devshree Patel, Param Raval+2 more|arXiv (Cornell University)|May 22, 2020

Topic Modeling参考文献 14被引用 8

一句话总结

本研究对比了传统机器学习模型——逻辑回归、高斯混合模型、SVM、随机森林和XGBoost——与BERT在SQuAD 1.1阅读理解基准上的表现。通过使用InferSent生成句子嵌入，作者发现尽管简单模型推理速度更快，但BERT在训练时间增加的代价下实现了显著更高的准确率（测试F1为77%），表明了自然语言处理模型在性能与效率之间存在权衡。

ABSTRACT

This study aims to provide a comparative analysis of performance of certain models popular in machine learning and the BERT model on the Stanford Question Answering Dataset (SQuAD). The analysis shows that the BERT model, which was once state-of-the-art on SQuAD, gives higher accuracy in comparison to other models. However, BERT requires a greater execution time even when only 100 samples are used. This shows that with increasing accuracy more amount of time is invested in training the data. Whereas in case of preliminary machine learning models, execution time for full data is lower but accuracy is compromised.

研究动机与目标

• 评估传统机器学习模型在SQuAD 1.1阅读理解数据集上的表现。
• 比较这些模型与最先进的基于Transformer的模型BERT在准确率和推理时间上的差异。
• 分析句子表示技术（如InferSent嵌入）对模型性能的影响。
• 研究在阅读理解系统中模型复杂度、训练时间与预测准确率之间的权衡。

提出的方法

• 使用InferSent对SQuAD 1.1数据进行预处理，基于语义表示生成上下文相关的句子嵌入。
• 应用主成分分析（PCA）降低维度并重建数据，通过重建损失衡量主成分的有效性。
• 训练并评估多种监督模型：逻辑回归、高斯混合模型、SVM、随机森林和XGBoost，并进行超参数调优。
• 在云端TPU上对BERT BASE（110M参数）进行微调，实现端到端的阅读理解。
• 在推理过程中，利用向量空间中的余弦相似度和欧氏距离识别相关的句子-问题配对。
• 使用F1分数、训练/测试准确率和损失曲线评估模型，模型选择基于最优超参数（如SVM中的gamma值）。

实验结果

研究问题

• RQ1 与BERT相比，传统机器学习模型在SQuAD 1.1基准上的表现如何？
• RQ2 在使用简单模型与BERT时，推理速度与准确率之间的权衡如何？
• RQ3 InferSent生成的句子嵌入在不同机器学习模型上能多大程度上提升性能？
• RQ4 超参数调优在该数据集上对随机森林和XGBoost等模型的过拟合与泛化能力有何影响？
• RQ5 为何BERT尽管计算成本更高，仍能优于其他模型？

主要发现

• BERT在SQuAD 1.1上的测试准确率达到77%，显著优于所有传统机器学习模型。
• 表现最佳的传统模型为随机森林，测试准确率为63.7%，对应min_samples_leaf=8和n_estimators=60，但当叶节点大小降低时性能下降，表明存在过拟合现象。
• 使用RBF核的SVM达到66%的测试准确率，是非树基模型中的最高表现，但仍低于BERT。
• 逻辑回归结合PCA后F1分数从基线略有提升，达到52.5%，但远低于BERT的性能。
• 尽管准确率较低，但逻辑回归和SVM等简单模型的执行时间显著更短，尤其在小数据子集上表现更优。
• 本研究证实，BERT的双向注意力机制和深层Transformer架构使其具备更优越的上下文理解能力，从而合理化其更高的计算成本。