[论文解读] Estimating Confidence of Predictions of Individual Classifiers and Their Ensembles for the Genre Classification Task

Mikhail Lepekhin, Serge Sharoff|arXiv (Cornell University)|Jun 15, 2022

Authorship Attribution and Profiling被引用 4

一句话总结

本文提出通过蒙特卡洛 dropout 方法估计预测置信度，以评估并提升文本类型分类中个体分类器及集成分类器的鲁棒性。结果表明，XLM-RoBERTa 与逻辑回归模型的集成在正确与错误预测之间的置信度差距显著更大，从而实现更可靠、更准确的文本类型分类，尤其在数据集分布偏移条件下表现更优。

ABSTRACT

Genre identification is a subclass of non-topical text classification. The main difference between this task and topical classification is that genres, unlike topics, usually do not correspond to simple keywords, and thus they need to be defined in terms of their functions in communication. Neural models based on pre-trained transformers, such as BERT or XLM-RoBERTa, demonstrate SOTA results in many NLP tasks, including non-topical classification. However, in many cases, their downstream application to very large corpora, such as those extracted from social media, can lead to unreliable results because of dataset shifts, when some raw texts do not match the profile of the training set. To mitigate this problem, we experiment with individual models as well as with their ensembles. To evaluate the robustness of all models we use a prediction confidence metric, which estimates the reliability of a prediction in the absence of a gold standard label. We can evaluate robustness via the confidence gap between the correctly classified texts and the misclassified ones on a labeled test corpus, higher gaps make it easier to improve our confidence that our classifier made the right decision. Our results show that for all of the classifiers tested in this study, there is a confidence gap, but for the ensembles, the gap is bigger, meaning that ensembles are more robust than their individual models.

研究动机与目标

• 在大规模社交媒体语料中存在数据集分布偏移的情况下，提升文本类型分类的可靠性。
• 基于基于蒙特卡洛 dropout 的置信度度量，评估个体分类器及其集成的鲁棒性。
• 探究集成模型在预测置信度与分类准确率方面是否优于个体模型。
• 评估模型架构与超参数对低资源及分布外设置下文本类型分类性能的影响。
• 探索利用置信度阈值实现开放集文本类型分类的可行性。

提出的方法

• 通过在推理过程中执行多次前向传播并启用 dropout，定义置信度度量为 1 - 不确定性，以估计预测置信度。
• 对所有层（包括嵌入层和最终分类层）以 0.1 的概率应用 dropout，生成多个概率分布。
• 将 n 个概率分布聚合为一个聚合分布 p̂，其中最大值即为置信度得分。
• 使用先前实验中确定的最优超参数，在俄语 FTD 语料库上对 XLM-RoBERTa 和 RuBERT 进行训练与微调，以实现文本类型分类。
• 通过平均或投票方式执行推理，将 XLM-RoBERTa、RuBERT 和逻辑回归分类器组合构建集成模型。
• 在保留的测试集上评估模型性能，并使用曼-惠特尼 U 检验测量正确与错误分类样本之间的置信度差距。

实验结果

研究问题

• RQ1 在文本类型分类中，个体分类器与其集成模型在正确与错误预测之间的置信度差距是否存在显著差异？
• RQ2 在数据集分布偏移条件下，集成模型是否能实现比个体模型更高的分类准确率与更可靠的预测？
• RQ3 引入弱分类器（如逻辑回归）对集成模型的整体性能与置信度有何影响？
• RQ4 不同社交媒体平台之间的文本类型分布差异程度如何，这对模型泛化能力有何影响？
• RQ5 置信度估计是否可有效用于开放集文本类型分类，通过拒绝低置信度预测实现？

主要发现

• 集成模型在正确与错误分类文本之间的置信度差距始终大于个体分类器，表明其鲁棒性更高。
• 包含逻辑回归的集成模型在大多数文本类型中均取得了最高的 f1-score 与最可靠的置信度差距，优于单一模型及其他集成配置。
• 在集成中加入逻辑回归分类器显著提升了准确率，且计算成本极低，证明其作为轻量但高效的组件具有重要价值。
• 置信度度量成功识别出低置信度的误分类样本，支持其在开放集分类场景中的应用。
• XLM-RoBERTa 与 RuBERT 模型在 FTD 语料库上取得了高准确率，验证了基于 BERT 的微调最佳实践在俄语及多语言设置下的可迁移性。
• 卡方检验揭示了不同社交媒体平台间文本类型分布存在显著差异（例如，LiveJournal 中更多论辩类文本，VK 中更多个人叙述类文本），凸显了领域偏移带来的挑战。