[论文解读] E-Stitchup: Data Augmentation for Pre-Trained Embeddings

C. Wolfe, Keld T. Lundgaard|arXiv (Cornell University)|Nov 28, 2019

Video Analysis and Summarization参考文献 30被引用 6

一句话总结

本文提出 E-Stitchup，一种数据增强技术，通过加权插值组合预训练嵌入，并应用标签软化以提升模型校准、分类准确率和分布外（OOD）检测性能——在不微调预训练模型的前提下，实现更优性能与更快收敛。

ABSTRACT

In this work, we propose data augmentation methods for embeddings from pre-trained deep learning models that take a weighted combination of a pair of input embeddings, as inspired by Mixup, and combine such augmentation with extra label softening. These methods are shown to significantly increase classification accuracy, reduce training time, and improve confidence calibration of a downstream model that is trained with them. As a result of such improved confidence calibration, the model output can be more intuitively interpreted and used to accurately identify out-of-distribution data by applying an appropriate confidence threshold to model predictions. The identified out-of-distribution data can then be prioritized for labeling, thus focusing labeling effort on data that is more likely to boost model performance. These findings, we believe, lay a solid foundation for improving the classification performance and calibration of models that use pre-trained embeddings as input and provide several benefits that prove extremely useful in a production-level deep learning system.

研究动机与目标

• 利用预训练嵌入解决深度学习模型校准不足与过度自信的问题。
• 提升基于预训练嵌入训练的下游模型的泛化能力与鲁棒性。
• 通过校准的置信度分数实现有效的分布外（OOD）数据检测。
• 在保持或提升分类性能的同时减少训练时间。
• 为视觉、自然语言处理等多样化模态提供即插即用的预训练嵌入增强方法。

提出的方法

• 提出 E-Mixup 与 E-Stitchup，其通过加权平均方式组合来自预训练模型的两个输入嵌入。
• 对嵌入输入及其对应的独热标签使用相同的插值系数。
• 引入 Soft E-Stitchup，通过将独热标签替换为平滑分布实现标签软化。
• 对嵌入与标签使用相同的插值系数，以保持增强数据的一致性。
• 采用基于启发式的置信度阈值，利用校准后的模型输出识别分布外样本。
• 在不微调预训练主干模型的前提下，对下游模型进行增强嵌入的训练。

实验结果

研究问题

• RQ1 在使用预训练嵌入时，嵌入层面的数据增强能否改善模型校准与分类准确率？
• RQ2 与标准训练相比，嵌入层面增强在收敛速度与 OOD 检测性能方面表现如何？
• RQ3 结合嵌入增强时，标签软化在多大程度上提升了校准效果？
• RQ4 该方法是否可在不同模态（如视觉、自然语言处理）中有效应用，而无需修改预训练模型？
• RQ5 使用校准后的置信度分数是否能实现对分布外数据的可靠识别，以支持主动学习？

主要发现

• E-Stitchup 显著改善了模型校准，使置信度分数能够可靠反映预测准确率。
• 使用 E-Stitchup 训练的模型在分布内数据与“无类别”类别上的准确率均高于基线模型。
• 该方法将训练时间减少约一半，模型收敛所需周期不足对照组的 50%。
• E-Stitchup 通过支持基于阈值的低置信度预测识别，实现了有效的分布外检测。
• 结合标签软化与 E-Stitchup 进一步提升了校准效果，并降低了过度自信现象，优于使用独热标签的情况。
• 所提出的增强方法在多种模态中均有效，且无需对预训练嵌入模型进行微调。