[論文レビュー] BERT Rankers are Brittle: a Study using Adversarial Document Perturbations

Yumeng Wang, Lijun Lyu+1 more|arXiv (Cornell University)|Jun 23, 2022

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

この論文は、文書のテキストを微小なトークン変更で大幅な順位変動を引き起こす白箱攻撃を、BERTベースのランク付けモデルに対して提案している。勾配ベースの最適化を用いて、特に文書の開始部に配置されたわずか5つの adversarial トークンを追加するだけで、顕著な順位の低下や上昇を引き起こすことができ、モデルの脆さや事前学習およびデータセット由来のトピック特異的バイアスを露呈している。

ABSTRACT

Contextual ranking models based on BERT are now well established for a wide range of passage and document ranking tasks. However, the robustness of BERT-based ranking models under adversarial inputs is under-explored. In this paper, we argue that BERT-rankers are not immune to adversarial attacks targeting retrieved documents given a query. Firstly, we propose algorithms for adversarial perturbation of both highly relevant and non-relevant documents using gradient-based optimization methods. The aim of our algorithms is to add/replace a small number of tokens to a highly relevant or non-relevant document to cause a large rank demotion or promotion. Our experiments show that a small number of tokens can already result in a large change in the rank of a document. Moreover, we find that BERT-rankers heavily rely on the document start/head for relevance prediction, making the initial part of the document more susceptible to adversarial attacks. More interestingly, we find a small set of recurring adversarial words that when added to documents result in successful rank demotion/promotion of any relevant/non-relevant document respectively. Finally, our adversarial tokens also show particular topic preferences within and across datasets, exposing potential biases from BERT pre-training or downstream datasets.

研究の動機と目的

• BERTベースのランク付けモデルが adversarial 文書摂動に対してどれほど頑健であるかを調査すること。
• 関連ドキュメントをランク下げまたは非関連ドキュメントをランク上げするための adversarial トークンを生成する勾配ベースの攻撃手法を開発すること。
• クエリおよびデータセット全体を通して、adversarial トークンの再発現性とトピック的傾向を分析すること。
• 事前学習または下流のランク付けデータセットに起因する BERT ランカーモデルの潜在的バイアスを解明すること。

提案手法

• 局所的ランク攻撃を提案し、文書テキスト内の高勾配位置で adversarial トークンを特定する勾配ベースのトークン探索を用いる。
• 1つのクエリごとにではなく、全クエリワークロード全体の順位シフトを最適化するグローバルランク攻撃を設計する。
• 自然言語処理における adversarial 攻撃の勾配ベース最適化手法（例：Ebrahimi et al., 2017; Wallace et al., 2019a）をドキュメントランク付け設定に適応する。
• 攻撃効果を評価するため、ClueWeb09 および TREC-DL データセットで微調整された BERTスタイルのランカーモデルを攻撃対象とする。
• 主成分分析（PCA）可視化およびトピック頻度分析を用いた後処理分析により、再発現するテーマを検出する。
• ドキュメント開始部に焦点を当て、関連ドキュメントのランク低下と非関連ドキュメントのランク上昇の両方を評価する。

実験結果

リサーチクエスチョン

• RQ1 文書テキストに対する微小で標的化された摂動が、BERTベースのランク付けモデルにおいて顕著な順位シフトを引き起こすことができるか？
• RQ2 注意メカニズムや注意パターンの特性により、BERTランカーは文書の開始部での adversarial 攻撃に対して特に脆弱であるか？
• RQ3 adversarial トークンは異なるクエリやデータセット間で再発現するか？もしそうなら、それらが示すトピックは何か？
• RQ4 再発現する adversarial トークンは、BERTの事前学習または下流のランク付けデータセット由来のバイアスをどの程度反映しているか？
• RQ5 局所的攻撃戦略とグローバル攻撃戦略における adversarial トークンの頻度およびトピック分布は、どのように比較されるか？

主な発見

• 局所的ランク攻撃において、わずか5つの adversarial トークンを用いることで、ClueWeb09の上位ドキュメントで平均83位の順位低下が発生した。
• グローバル攻撃は、同じ5つの頻出 adversarial トークンを用いて、平均79位の順位低下を達成した。
• adversarial トークンはクエリおよびデータセット間で頻繁に再発現し、自然、宗教、民族、医学関連の用語に強いトピック的傾向を示した。
• 順位低下に使用された最も頻出する adversarial トークンには「acceptable」、「competition」、「rayon」が含まれたのに対し、ランク上昇に使用されたものは「tornadoes」、「hurricanes」、「earthquakes」であった。
• BERTランカーは文書の開始部における摂動に対して特に感受性が高く、関連性予測に初期トークンに強く依存していることが示された。
• 再発現する adversarial トークンはコーパス内で頻出せず、関連性ラベルとの相互情報量も低く、これらは意味的関連性ではなくモデルバイアスを狙ったものであると示唆された。