[论文解读] BERT & Family Eat Word Salad: Experiments with Text Understanding

Ashim Gupta, Giorgi Kvernadze+1 more|arXiv (Cornell University)|Jan 10, 2021

Topic Modeling参考文献 43被引用 24

一句话总结

本文表明，最先进的 BERT 系列模型无法一致地识别出无意义的、词序混乱的输入（如按字母顺序排序或打乱的句子）——即使这些输入完全缺乏语言意义，模型仍会持续输出高置信度的预测。其主要贡献在于展示了通过正则化或引入一个额外的“无效”类别来显式训练模型拒绝无效输入，可在不损失有效数据性能的前提下，显著提升模型对无意义输入的检测能力，揭示了当前 NLP 模型在理解能力上的关键缺陷。

ABSTRACT

In this paper, we study the response of large models from the BERT family to incoherent inputs that should confuse any model that claims to understand natural language. We define simple heuristics to construct such examples. Our experiments show that state-of-the-art models consistently fail to recognize them as ill-formed, and instead produce high confidence predictions on them. As a consequence of this phenomenon, models trained on sentences with randomly permuted word order perform close to state-of-the-art models. To alleviate these issues, we show that if models are explicitly trained to recognize invalid inputs, they can be robust to such attacks without a drop in performance.

研究动机与目标

• 调查最先进的 BERT 基模型是否能够区分有意义与无意义（词序混乱）的输入。
• 揭示这些模型在经受破坏性输入变换（如抹除语言结构与语义）时的脆弱性。
• 评估能够使模型识别并拒绝无效输入，同时保持在有效数据上性能的缓解策略。

提出的方法

• 定义九种破坏性变换（如按字母顺序排序、词语置换、重复等），使输入文本失去意义，但保持输入格式不变。
• 将这些变换应用于 GLUE 基准任务（自然语言推理、语义相似度检测、情感分析）的测试样本，生成无效输入。
• 使用三种缓解策略（熵正则化、概率阈值法、显式添加“无效”类别）在包含无效样本的数据集上，对 RoBERTa 模型进行训练与微调。
• 通过原始数据上的准确率和无效输入的检测率来衡量模型性能，超参数在验证集上进行调优。
• 使用温度缩放进行概率校准，并通过网格搜索优化阈值参数。
• 通过在一种变换上训练并在其他变换上测试，评估缓解策略的可迁移性。

实验结果

研究问题

• RQ1 BERT 系列模型能否可靠地检测出如按字母顺序排序或打乱的词序序列等无意义输入？
• RQ2 最先进的模型在缺乏语义或句法结构的无效输入上，其高置信度预测在多大程度上仍保持不变？
• RQ3 模型能否在不牺牲对标准、格式正确输入的性能前提下，被训练为拒绝无效输入？
• RQ4 诸如熵正则化或引入“无效”类别的缓解策略，是否能提升模型对破坏性变换的鲁棒性？
• RQ5 检测无效输入的能力是否可在不同类型的破坏性变换之间实现迁移？

主要发现

• 在 MNLI 数据集上，当假设句被按字母顺序排序时，RoBERTa 模型仍以 95% 的平均置信度维持相同的蕴含预测，而这种变换已使其完全无意义。
• 在 79% 的 MNLI 样本中，模型对按字母顺序排序的假设句与原始句预测了相同的标签（蕴含、矛盾或中性），尽管语言连贯性已完全丧失。
• 在随机打乱词序的输入上进行微调的模型，在原始测试集上的表现几乎与原始模型相当，表明句法结构并非高性能的必要条件。
• 熵正则化将无效输入上的一致度得分降低至平均 35%，显著提升了不确定性，尽管在某些情况下导致有效数据上的准确率下降超过 1%。
• 添加显式“无效”类别（B + Invalid）的策略表现最佳，既在有效数据上保持了高准确率，又在所有变换类型下正确识别了 97.10% 的无效输入。
• 通过“无效”类别实现的缓解具有可迁移性：在一种变换类型上训练的模型能很好地泛化到其他变换类型，表明其具有广泛适用性。