[論文レビュー] One word at a time: adversarial attacks on retrieval models

Nisarg Raval, Manisha Verma|arXiv (Cornell University)|Aug 5, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用数 6

ひとこと要約

本論文は、文書テキストに対して意味的に類似した最小限の摂動（1–3語の変更）を加えることで、深層学習検索モデルのランク付け性能を著しく低下させるブラックボックス敵対的攻撃フレームワークを提案する。語を意味的に類似する代替語に置き換えることで、意味を変えることなく関連ドキュメントの順位を数ポジション下げる攻撃が可能であり、最先端のランカーが微小で目に見えない変更に対して極めて感受性が高いことを示している。

ABSTRACT

Adversarial examples, generated by applying small perturbations to input features, are widely used to fool classifiers and measure their robustness to noisy inputs. However, little work has been done to evaluate the robustness of ranking models through adversarial examples. In this work, we present a systematic approach of leveraging adversarial examples to measure the robustness of popular ranking models. We explore a simple method to generate adversarial examples that forces a ranker to incorrectly rank the documents. Using this approach, we analyze the robustness of various ranking models and the quality of perturbations generated by the adversarial attacker across two datasets. Our findings suggest that with very few token changes (1-3), the attacker can yield semantically similar perturbed documents that can fool different rankers into changing a document's score, lowering its rank by several positions.

研究の動機と目的

• 情報検索における深層学習ランク付けモデルの敵対的攻撃に対する耐性を評価すること。
• 最小限で意味的に整合性のあるテキスト変更によってドキュメント順位を操作するブラックボックス攻撃手法を開発すること。
• P@5などの標準指標を用いて、敵対的摂動が検索効果に与える影響を測定すること。
• クエリ語を変更する攻撃者とドキュメント語を変更する攻撃者とでは、どちらがより効果的で検出されにくいかを分析すること。
• さまざまな攻撃戦略下での元のドキュメントと摂動後のドキュメント間の意味的類似度を評価すること。

提案手法

• 攻撃フレームワークはブラックボックス設定を採用し、モデルの内部構造ではなく、(クエリ, ドキュメント)ペアの出力のみを必要とする。
• 3つの攻撃バージョン（A1, A2, A3）を提案：A1はドキュメント語を変更し、A2はクエリ語への変更に制限し、A3はクエリ語を変更せずに順位を低下させる。
• 摂動は、単語埋め込みから意味的に類似する語にトークンを置き換えることで生成され、全体的な意味を保持する。
• 元のドキュメントと摂動後のドキュメント間の意味的類似度はコサイン類似度を用いて測定される。
• モデルの耐性はP@5を用いて評価され、元のドキュメントスコアを摂動後のスコアに置き換え、再計算された精度が評価対象となる。
• 本手法は、MSMarcoとWikiQAの2つの公開データセットを用い、DRMM、Duet、KNRMの3つの最先端のランク付けモデルで評価された。

実験結果

リサーチクエスチョン

• RQ1 ドキュメントテキストに対する最小限で意味的に整合性のある摂動が、深層学習検索モデルにおける関連ドキュメントのランク付けを著しく低下させ得るか？
• RQ2 ドキュメント語とクエリ語のどちらを変更する攻撃戦略が、最小限の変更でドキュメント順位を低下させるためにより効果的か？
• RQ3 敵対的攻撃下で、元のドキュメントと摂動後のドキュメント間の意味的類似度はどの程度保持されるか？
• RQ4 DRMM、Duet、KNRMといった異なるランク付けモデルの耐性は、敵対的摂動に対してどのように変化するか？
• RQ5 P@5などの標準的な検索指標に、異なるデータセットで敵対的摂動が与える影響は何か？

主な発見

• 1語の摂動のみで、関連ドキュメントの順位が順位リストで4～12ポジションも下がることがあり、表1に示されている。
• 1語の変更後でも、元のドキュメントと摂動後のドキュメント間のコサイン類似度は約0.97を維持しており、意味的類似度の高い保持が確認された。
• 5語の摂動ではコサイン類似度が約0.90に低下し、摂動の大きさと意味的忠実度のトレードオフが顕在化した。
• A1攻撃者（ドキュメント語を変更）は、特にMSMarcoでのDRMMで、P@5が最大50％低下するなど、最も高い順位低下を達成した。
• A3攻撃者（クエリ語を変更しない）はA1と同等の順位低下を達成したが、意味的類似度の低下が小さく、よりスパイシーであった。
• ベースラインP@5が高かったモデル（例：MSMarcoでのDRMM）はより耐性があり、最も効果的な攻撃でもP@5が50％低下するにとどまった。これは、モデル性能と敵対的耐性の間に関連性があることを示唆している。