[论文解读] Understanding the Downstream Instability of Word Embeddings

Megan Leszczynski, Avner May+4 more|arXiv (Cornell University)|Feb 26, 2020

Topic Modeling参考文献 39被引用 6

一句话总结

本文研究了预训练词嵌入的下游不稳定性，揭示了嵌入记忆与预测稳定性之间的权衡：将记忆加倍可使下游预测不一致率相对降低5%至37%。本文提出了特征空间不稳定性度量——一种理论基础坚实、计算成本低廉的指标，可在不训练下游模型的情况下预测不稳定性，其性能优于基于距离的替代方法，并与最近邻方法相当，且该发现可推广至知识图谱嵌入和上下文嵌入。

ABSTRACT

Artifacts required for evaluation of our MLSys 2020 paper.

研究动机与目标

• 理解为何在工业机器学习系统中频繁微调会导致预测不稳定，即使数据仅发生微小变化。
• 研究预训练词嵌入如何导致自然语言处理任务中下游预测的不稳定性。
• 识别并解释嵌入记忆与下游模型稳定性之间的权衡关系。
• 开发一种理论基础坚实、计算高效的指标，用于在不训练下游模型的情况下预测不稳定性。
• 在多种嵌入类型（包括知识图谱嵌入和上下文嵌入）上验证稳定性-记忆权衡的普适性。

提出的方法

• 通过在不同嵌入维度和精度设置下，对多个自然语言处理任务（如情感分析）进行下游不稳定性的经验评估。
• 提出基于嵌入矩阵谱性质推导出的特征空间不稳定性度量，以理论上受控的方式量化不稳定性。
• 通过特征值分解，理论上将特征空间不稳定性度量与线性回归模型中的下游预测不一致关联起来。
• 通过控制实验（固定模型随机种子，改变数据、初始化和采样顺序），隔离嵌入记忆对不稳定性的影响。
• 对微调和下游学习率进行消融研究，评估其对观察到的稳定性-记忆权衡的影响。
• 将特征空间不稳定性度量与标准嵌入距离度量及基于最近邻的基线方法在预测下游不稳定性方面的表现进行比较。

实验结果

研究问题

• RQ1 增加嵌入记忆如何影响自然语言处理模型的下游预测不稳定性？
• RQ2 词嵌入中观察到的稳定性-记忆权衡背后的理论机制是什么？
• RQ3 能否构建一种计算高效的嵌入不稳定性度量，以在不训练下游模型的情况下预测下游不稳定性？
• RQ4 在下游训练过程中微调嵌入如何影响稳定性-记忆权衡？
• RQ5 稳定性-记忆权衡在多大程度上可推广至非词嵌入类型，如知识图谱嵌入和上下文嵌入？

主要发现

• 在多个自然语言处理任务中，将词嵌入的记忆加倍可使下游预测不一致率相对降低5%至37%。
• 特征空间不稳定性度量为预测下游不稳定性提供了一种理论基础坚实、计算成本低廉的替代方案，优于基于距离的度量方法。
• 特征空间不稳定性度量在不稳定性预测方面优于标准嵌入距离度量，并与基于最近邻的方法表现相当。
• 即使在下游模型经过微调后，稳定性-记忆权衡依然存在，尽管微调显著降低了整体不稳定性。
• 下游学习率是导致不稳定性的重要因素，但核心的稳定性-记忆权衡在不同学习率设置下依然稳健。
• 稳定性-记忆权衡不仅适用于静态词嵌入，还可推广至知识图谱嵌入和上下文嵌入。