[论文解读] Model Stability with Continuous Data Updates

Huiting Liu, P. V. S. Avinesh+3 more|arXiv (Cornell University)|Jan 14, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出一种方法，通过称为'抖动'（jitter）的度量指标来评估模型在持续数据更新下的稳定性，该指标衡量模型重新训练运行之间的预测变化。研究发现，非RNN架构、fastText嵌入、模型集成和增量训练能显著降低抖动，为NLP系统在准确率与稳定性之间提供了实用的权衡方案。

ABSTRACT

In this paper, we study the "stability" of machine learning (ML) models within the context of larger, complex NLP systems with continuous training data updates. For this study, we propose a methodology for the assessment of model stability (which we refer to as jitter under various experimental conditions. We find that model design choices, including network architecture and input representation, have a critical impact on stability through experiments on four text classification tasks and two sequence labeling tasks. In classification tasks, non-RNN-based models are observed to be more stable than RNN-based ones, while the encoder-decoder model is less stable in sequence labeling tasks. Moreover, input representations based on pre-trained fastText embeddings contribute to more stability than other choices. We also show that two learning strategies -- ensemble models and incremental training -- have a significant influence on stability. We recommend ML model designers account for trade-offs in accuracy and jitter when making modeling choices.

研究动机与目标

• 为解决工业级NLP系统在持续数据更新下缺乏系统性稳定性评估的问题。
• 识别影响稳定性（超越准确率）的关键模型设计选择，尤其是在复杂且相互关联的系统中。
• 提出一种实用的方法论，用于衡量和指导现实世界机器学习部署中的稳定性。

提出的方法

• 本文引入'抖动'作为在相同测试集上两次模型重新训练运行之间预测变化的定量度量。
• 通过使用更新数据进行受控重新训练，在四个文本分类和两个序列标注任务上评估模型稳定性。
• 该方法比较了多种模型架构、输入表示方法（如fastText、GloVe、BERT）以及训练策略（集成、增量训练）。
• 抖动计算为两次模型运行之间发生变化的预测所占百分比，即使准确率保持相似。
• 研究使用可训练参数数量作为模型复杂度的代理指标，尽管发现其与抖动无明显相关性。
• 通过误差率与抖动的散点图可视化结果，以指导模型设计中的权衡决策。

实验结果

研究问题

• RQ1 在NLP系统中，模型架构如何影响在持续数据更新下的稳定性？
• RQ2 不同输入表示方法（如fastText、BERT、GloVe）对模型抖动有何影响？
• RQ3 集成训练和增量训练等训练策略如何影响模型稳定性？
• RQ4 模型复杂度（以参数数量衡量）与抖动之间是否存在相关性？
• RQ5 在实际模型设计中，准确率与抖动之间存在何种权衡？

主要发现

• 在文本分类任务中，非RNN架构（如textCNN和transformers）的抖动显著低于RNN架构（如biLSTM），例如分别为6.33–7.34和9.26–9.80。
• 在序列标注任务中，编码器-解码器架构表现出更高的不稳定性，抖动值约为9.33–9.88，表明其稳定性较差。
• 预训练的fastText嵌入始终产生更低的抖动（6.33–7.62），优于GloVe（6.73–8.97）和BERT（7.75–9.63），表明其作为输入表示更具稳定性。
• 集成模型和增量训练均能降低抖动，且在所有任务中，集成模型在稳定性方面均优于增量训练。
• 可训练参数数量与抖动之间无明显相关性，挑战了模型复杂度直接影响稳定性的假设。
• 即使BERT模型准确率更高，使用fastText嵌入的模型仍能实现更低的抖动，表明稳定性可独立于准确率进行优先考虑。