[论文解读] Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT
论文通过生成对抗性错拼来研究BERT对自然键盘打字错误的鲁棒性，并评估其对情感分析和问答的影响，揭示对错字的敏感性不均衡以及任务相关的脆弱性。
There is an increasing amount of literature that claims the brittleness of deep neural networks in dealing with adversarial examples that are created maliciously. It is unclear, however, how the models will perform in realistic scenarios where extit{natural rather than malicious} adversarial instances often exist. This work systematically explores the robustness of BERT, the state-of-the-art Transformer-style model in NLP, in dealing with noisy data, particularly mistakes in typing the keyboard, that occur inadvertently. Intensive experiments on sentiment analysis and question answering benchmarks indicate that: (i) Typos in various words of a sentence do not influence equally. The typos in informative words make severer damages; (ii) Mistype is the most damaging factor, compared with inserting, deleting, etc.; (iii) Humans and machines have different focuses on recognizing adversarial attacks.
研究动机与目标
- 评估BERT在现实输入情境中对自然、来自键盘的错字的鲁棒性。
- 确定哪些词类型和哪些错字操作最会降低BERT的性能。
- 将模型的敏感性与人类阅读者进行比较，以及在不同任务（情感分析与问答）之间比较。
- 评估子词分词和单词分割如何影响鲁棒性。
- 为构建对错字更鲁棒、更加可信的NLP系统提供见解。
提出的方法
- 通过受键盘字符分布约束的键盘错字注入，生成自然对抗样本。
- 使用梯度信息选择信息性词（最大梯度）、非信息性词（最小梯度）或随机词作为错字目标。
- 考虑六种错字类型：插入、删除、交换、错拼、同音/发音错字、替换-w。
- 将每句的最大错字数限制为K，并迭代搜索能使模型预测翻转的错字。
- 使用BERT的WordPiece分词对输入进行分词，并分析对情感分析和问答任务的影响。
- 将BERT性能与使用GloVe和字符n-gram嵌入的RNN基线进行比较，以评估字符信息在鲁棒性中的作用。
实验结果
研究问题
- RQ1BERT对现实世界文本输入中来自键盘的错字有多鲁棒？
- RQ2哪些词（信息性与非信息性）以及哪些错字类型对BERT的预测影响最大？
- RQ3情感分析与问答任务的鲁棒性有何差异？
- RQ4子词分割在多大程度上影响对打字扰动的易受攻击性？
- RQ5在人类可读性/理解与机器鲁棒性之间，错字情况下的比较如何？
主要发现
- 信息性词语上的错字导致最大准确率下降，单个错字也能显著降低性能。
- 错拼是所测试错字类型中破坏性最大的一种；插入通常影响最小，因为子词分词。
- BERT对错字的注意力不平衡；信息性词推动的变化多于频繁但非信息性词。
- 问答（SQuAD）对错字更脆弱，表明鲁棒性具有任务依赖性。
- 人类更容易识别非信息性词的错字，而模型则更关注信息性词。
- 子词分割导致鲁棒性差异；在某些设置中，使用字符信息的模型比BERT更具韧性。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。