[论文解读] BERT Rankers are Brittle: a Study using Adversarial Document Perturbations

Yumeng Wang, Lijun Lyu+1 more|arXiv (Cornell University)|Jun 23, 2022

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本文提出针对基于 BERT 的排序模型的白盒对抗攻击，通过微小的文本扰动使文档排名发生剧烈变化，且仅需极少的词元更改。利用基于梯度的优化方法，作者证明仅添加 5 个对抗性词元——尤其在文档开头位置——即可导致排名大幅下降或上升，揭示了模型的脆弱性以及预训练和数据集带来的主题特定偏差。

ABSTRACT

Contextual ranking models based on BERT are now well established for a wide range of passage and document ranking tasks. However, the robustness of BERT-based ranking models under adversarial inputs is under-explored. In this paper, we argue that BERT-rankers are not immune to adversarial attacks targeting retrieved documents given a query. Firstly, we propose algorithms for adversarial perturbation of both highly relevant and non-relevant documents using gradient-based optimization methods. The aim of our algorithms is to add/replace a small number of tokens to a highly relevant or non-relevant document to cause a large rank demotion or promotion. Our experiments show that a small number of tokens can already result in a large change in the rank of a document. Moreover, we find that BERT-rankers heavily rely on the document start/head for relevance prediction, making the initial part of the document more susceptible to adversarial attacks. More interestingly, we find a small set of recurring adversarial words that when added to documents result in successful rank demotion/promotion of any relevant/non-relevant document respectively. Finally, our adversarial tokens also show particular topic preferences within and across datasets, exposing potential biases from BERT pre-training or downstream datasets.

研究动机与目标

• 研究 BERT 基础排序模型在对抗性文档扰动下的鲁棒性。
• 开发基于梯度的攻击方法，生成对抗性词元以降低相关文档的排名或提升不相关文档的排名。
• 分析对抗性词元在不同查询和数据集中的重复性及其主题偏好。
• 揭示 BERT 排序模型中可能存在的偏差，这些偏差源于预训练过程或下游数据集。

提出的方法

• 提出一种局部排序攻击方法，利用基于梯度的词元搜索，在文档文本的高梯度位置识别对抗性词元。
• 设计一种全局排序攻击方法，优化整个查询工作负载的排名变化，而非逐查询进行。
• 将自然语言处理对抗攻击中的基于梯度的优化技术（如 Ebrahimi et al., 2017；Wallace et al., 2019a）适配至文档排序场景。
• 使用 BERT 风格的排序模型作为受害者模型，在 ClueWeb09 和 TREC-DL 数据集上进行微调，以评估攻击的有效性。
• 通过主成分分析（PCA）可视化和主题频率分析对对抗性词元进行事后分析，以检测重复出现的主题。
• 在排名下降（高度相关文档）和排名提升（低排名文档）两种场景下评估攻击效果，重点关注文档开头区域。

实验结果

研究问题

• RQ1 对文档文本进行小规模、有针对性的扰动，是否会导致 BERT 基础排序模型中出现显著的排名变化？
• RQ2 由于注意力机制或注意力模式的影响，BERT 排序模型是否在文档开头位置对对抗攻击更加敏感？
• RQ3 对抗性词元是否在不同查询和数据集中反复出现？若出现，其代表的主题是什么？
• RQ4 反复出现的对抗性词元在多大程度上反映了 BERT 预训练过程或下游排序数据集中的偏差？
• RQ5 与局部攻击策略相比，全局攻击策略下对抗性词元的频率和主题分布有何差异？

主要发现

• 仅使用五个对抗性词元的局部排序攻击，在 ClueWeb09 数据集中使顶级文档的平均排名下降 83 位。
• 全局攻击使用相同的五个最频繁的对抗性词元，也实现了 79 位的平均排名下降。
• 对抗性词元在不同查询和数据集中频繁重复出现，且具有强烈主题偏好，多与自然、宗教、种族和医学相关。
• 用于排名下降的最频繁对抗性词元包括 'acceptable'、'competition' 和 'rayon'，而用于排名提升的则包括 'tornadoes'、'hurricanes' 和 'earthquakes'。
• BERT 排序模型对文档开头位置的扰动特别敏感，表明其在相关性预测中强烈依赖初始词元。
• 反复出现的对抗性词元在语料中并不常见，且与相关性标签的互信息较低，表明它们利用的是模型偏差而非语义相关性。