[论文解读] Automated classification for open-ended questions with BERT

Hyukjun Gweon, Matthias Schonlau|arXiv (Cornell University)|Sep 13, 2022

Natural Language Processing Techniques参考文献 27被引用 4

一句话总结

本文评估了微调后的 BERT 在自动分类开放式调查回复中的表现，将其与 SVM、随机森林和 XGBoost 等非预训练模型进行比较。结果表明，随着训练数据增加，BERT 显著优于这些模型，在 200–400 个标注样本以上时，准确率优势明显，使其成为社会科学研究中大规模文本编码的更优选择。

ABSTRACT

Manual coding of text data from open-ended questions into different categories is time consuming and expensive. Automated coding uses statistical/machine learning to train on a small subset of manually coded text answers. Recently, pre-training a general language model on vast amounts of unrelated data and then adapting the model to the specific application has proven effective in natural language processing. Using two data sets, we empirically investigate whether BERT, the currently dominant pre-trained language model, is more effective at automated coding of answers to open-ended questions than other non-pre-trained statistical learning approaches. We found fine-tuning the pre-trained BERT parameters is essential as otherwise BERT's is not competitive. Second, we found fine-tuned BERT barely beats the non-pre-trained statistical learning approaches in terms of classification accuracy when trained on 100 manually coded observations. However, BERT's relative advantage increases rapidly when more manually coded observations (e.g. 200-400) are available for training. We conclude that for automatically coding answers to open-ended questions BERT is preferable to non-pretrained models such as support vector machines and boosting.

研究动机与目标

• 评估预训练语言模型 BERT 是否在开放式调查回复的自动分类中优于非预训练的统计模型。
• 探究在调查研究中典型的少量训练集上，微调 BERT 的必要性及其影响。
• 在不同规模的人工编码训练数据下，比较 BERT 与传统模型（SVM、随机森林、XGBoost）的表现。
• 评估 BERT 在处理调查数据中常见的类别不平衡分布时的鲁棒性。
• 确定在实际调查应用中使用 BERT 进行自动编码的实用可行性与可扩展性。

提出的方法

• 在两个真实调查数据集（Patient Joe 和 Disclosure）上微调了未经过大小写处理的 BERT base 模型（12 层，768 个隐藏单元，12 个注意力头）。
• 使用交叉熵损失，设置 10% 的 dropout，使用 8 的批量大小和 0.0003 的微调初始速率，训练 3 个周期。
• 为确保公平比较，将文本回复转换为基于 unigram 的数值特征，用于非 BERT 模型（SVM、随机森林、XGBoost）。
• 通过网格搜索（SVM、随机森林）或 50 次迭代的随机搜索（XGBoost）对每种非 BERT 模型的超参数进行优化。
• 在 100 至 400 个样本的训练集上评估模型，使用 100 个保留样本进行验证，其余用于测试。
• 通过整体准确率、宏观准确率和各类别准确率来衡量性能，以评估整体表现和各类别表现。

实验结果

研究问题

• RQ1 与非预训练模型相比，微调 BERT 是否显著提升了开放式调查回复的分类准确率？
• RQ2 BERT 的表现如何随人工编码训练数据量的增加而变化？
• RQ3 在类别不平衡的数据集中，BERT 的表现是否偏向高频类别？
• RQ4 在训练数据有限（如 100–400 个样本）的情况下，BERT 相较于 SVM、随机森林和 XGBoost 等传统模型有何相对优势？
• RQ5 尽管存在计算和实现挑战，BERT 是否可在社会科学研究中实际部署？

主要发现

• 微调 BERT 使其分类准确率提升了 10–20 个百分点，从而具备了竞争力；若不进行微调，BERT 的表现反而低于非预训练模型。
• 在仅 100 个训练样本时，BERT 的准确率与非预训练模型相当，但随着数据量增加，其性能差距逐渐扩大，在 200–400 个样本时表现显著更优。
• BERT 在大多数类别上均实现了更高的准确率，且低频类别的性能未出现明显下降，表明其对类别不平衡具有鲁棒性。
• 宏观准确率结果证实，BERT 的优势在所有类别中均一致存在，不仅限于主导类别，支持其在多分类场景下的公平性。
• 随着训练数据规模的增加，BERT 的相对优势进一步提升，表明其在拥有更大标注数据集时尤为有效。
• 尽管计算和编程需求更高，BERT 仍能提供可复现、可扩展的分类能力——尤其适用于大规模调查数据集或纵向研究。