[论文解读] Improved Text Classification via Test-Time Augmentation

Haiyan Lu, Divya Shanmugam+2 more|arXiv (Cornell University)|Jun 27, 2022

Topic Modeling被引用 6

一句话总结

该论文表明，通过在推理阶段应用多种随机的、非确定性的数据增强（如同义词替换）并平均预测结果，测试时增强（TTA）可显著提升微调后语言模型在文本分类任务中的准确率，且无需微调。在 WILDS CivilComments 数据集上，TTA 最多可将准确率提升 1.4 个百分点，其中多样本单增强策略优于单样本或多重增强方法。

ABSTRACT

Test-time augmentation -- the aggregation of predictions across transformed examples of test inputs -- is an established technique to improve the performance of image classification models. Importantly, TTA can be used to improve model performance post-hoc, without additional training. Although test-time augmentation (TTA) can be applied to any data modality, it has seen limited adoption in NLP due in part to the difficulty of identifying label-preserving transformations. In this paper, we present augmentation policies that yield significant accuracy improvements with language models. A key finding is that augmentation policy design -- for instance, the number of samples generated from a single, non-deterministic augmentation -- has a considerable impact on the benefit of TTA. Experiments across a binary classification task and dataset show that test-time augmentation can deliver consistent improvements over current state-of-the-art approaches.

研究动机与目标

• 探究在不进行微调的情况下，测试时增强（TTA）是否能提升 NLP 中文本分类的性能。
• 识别能最大化 TTA 在预训练语言模型上准确率增益的有效增强策略。
• 理解为何多样本单增强 TTA 优于单样本或多重增强配置。
• 评估增强类型（基于词 vs. 基于字符）和聚合策略对 TTA 性能的影响。
• 为 NLP 分类任务提供实用的、事后应用的 TTA 推荐方案。

提出的方法

• 将预训练分类器应用于原始测试输入以及由随机增强策略生成的 M 个增强版本。
• 通过所有 M+1 个输入（原始输入 + 增强输入）的类别 logit 的简单平均，生成最终预测结果。
• 设计四种 TTA 策略配置：单样本单增强、多样本单增强、单样本多增强和多样本多增强。
• 使用基于词的、语义感知的变换方法（如 WordNet、PPDB 同义词）和基于字符的变换方法（如随机字符替换）作为增强手段。
• 在 WILDS CivilComments 二分类数据集上评估性能，结果为 10 个随机测试子集的平均准确率。
• 分析各类策略下的纠正率与错误率，以解释性能差异。

实验结果

研究问题

• RQ1 在预训练语言模型上事后应用测试时增强是否能提升文本分类准确率？
• RQ2 增强策略的设计——特别是样本数量和变换方法的选择——如何影响 TTA 性能？
• RQ3 为何多样本单增强 TTA 优于单样本或多重增强配置？
• RQ4 基于词与基于字符的增强对 TTA 准确率的相对影响是什么？
• RQ5 TTA 能否超越在相同数据上微调的模型？这在 NLP 中意味着什么？

主要发现

• 多样本单增强 TTA 配置最多可将准确率提升 1.4 个百分点，显著优于单样本和多增强策略。
• 4 样本 1 增强策略产生的纠正样本（通过增强修复的误分类样本）多于错误样本（原本正确的样本被错误分类），从而带来净准确率提升。
• 纠正样本的预测重叠度（平均 0.51）高于错误样本（0.23），表明集成平均能稳定正确预测。
• 基于词的变换方法（如使用 WordNet 或 PPDB 的同义词替换）优于基于字符的变换，后者常改变词干并导致语义误分类。
• TTA 在 CivilComments 数据集上达到 93.7% 的准确率，超过原始模型的 92.3%，且未进行微调或训练时增强。
• 多样本单增强在计算成本与准确率增益之间提供了最佳权衡，因为多增强配置仅带来微小提升（≤0.04%）。