[論文レビュー] Adversarial Attack and Defense in Deep Ranking

Mo Zhou, Le Wang+4 more|arXiv (Cornell University)|Jun 7, 2021

Adversarial Robustness in Machine Learning参考文献 41被引用数 6

ひとこと要約

本稿では、埋め込みを摂動によって変更することでランク順序を操作する、2つの新しい敵対的攻撃——Candidate Attack および Query Attack——を提案する。また、モデルの崩壊を防ぐためのアンチコラプス三重項防御を導入し、複数のベンチマークで悪意のないデータに対する性能を維持したまま、攻撃に対する耐性を著しく向上させる。

ABSTRACT

Deep Neural Network classifiers are vulnerable to adversarial attack, where an imperceptible perturbation could result in misclassification. However, the vulnerability of DNN-based image ranking systems remains under-explored. In this paper, we propose two attacks against deep ranking systems, i.e., Candidate Attack and Query Attack, that can raise or lower the rank of chosen candidates by adversarial perturbations. Specifically, the expected ranking order is first represented as a set of inequalities, and then a triplet-like objective function is designed to obtain the optimal perturbation. Conversely, an anti-collapse triplet defense is proposed to improve the ranking model robustness against all proposed attacks, where the model learns to prevent the positive and negative samples being pulled close to each other by adversarial attack. To comprehensively measure the empirical adversarial robustness of a ranking model with our defense, we propose an empirical robustness score, which involves a set of representative attacks against ranking models. Our adversarial ranking attacks and defenses are evaluated on MNIST, Fashion-MNIST, CUB200-2011, CARS196 and Stanford Online Products datasets. Experimental results demonstrate that a typical deep ranking system can be effectively compromised by our attacks. Nevertheless, our defense can significantly improve the ranking system robustness, and simultaneously mitigate a wide range of attacks.

研究の動機と目的

• 分類分野における知られているリスクとは対照的に、ランク付けモデルの敵対的摂動に対する脆弱性はまだ十分に調査されていないことを踏まえ、その脆弱性を調査すること。
• 候補画像またはクエリ画像を摂動することでランク順序を操作する、標的攻撃である Candidate Attack および Query Attack を設計すること。
• 敵対的訓練中にモデルの崩壊を防ぎ、複数の攻撃タイプに対して耐性を高める防御メカニズムを開発すること。
• 多様な攻撃シナリオを網羅的に評価できる、実証的で包括的な耐性スコアを提案すること。
• 標準的な敵対的訓練手法がランク付けタスクでは失敗し、モデルの崩壊を引き起こすため、新たな防御戦略の必要性を示すこと。

提案手法

• 敵対的摂動生成を誘導するため、望ましいランク順序を不等式の集合として表現する。
• 埋め込みを望ましいランク位置へシフトさせる摂動を最適化するため、三重項に類似した目的関数を設計する。
• PGD（Projected Gradient Descent）を用いて、ランク制約を満たす効率的な敵対的例を生成する。
• 攻撃によって引き起こされる埋め込みのシフトを抑制するため、埋め込みシフト三重項（EST）防御を提案する。
• 敵対的訓練中に正例と負例が埋め込み空間で崩壊（近づきすぎ）するのを防ぐため、アンチコラプス三重項防御を導入する。
• 複数の攻撃タイプとデータセットを統合した包括的な実証的耐性スコアを用いて防御を評価する。

実験結果

リサーチクエスチョン

• RQ1 敵対的摂動を用いて、クエリ画像または候補画像を変更することで、深層ランクモデルのランク順序を効果的に操作できるか？
• RQ2 なぜ標準的な敵対的訓練はランク付けモデルでは失敗するのか？この文脈でモデルの崩壊はどのような原因によるのか？
• RQ3 継続的な正常データの性能を損なわせることなく、敵対的攻撃によって引き起こされる埋め込みのシフトを防げる防御メカニズムを設計できるか？
• RQ4 提案されたアンチコラプス三重項防御は、多様な攻撃タイプとデータセットにおいて、耐性を著しく向上させることができるか？
• RQ5 実証的耐性スコアは、ランク付けシステムにおける防御性能を信頼性があり包括的に評価できるか？

主な発見

• 提案された Candidate Attack および Query Attack は、MNIST、Fashion-MNIST、CUB200-2011、CARS196、Stanford Online Products において、ランク順序の操作に成功した。
• 標準的な敵対的訓練は、深層ランクモデルにおいてモデルの崩壊を引き起こし、正例と負例が埋め込み空間で極端に近づく。
• アンチコラプス三重項防御は耐性を著しく向上させ、攻撃成功率（例：CA+ および QA- 攻撃）を低下させつつ、正常な入力例の性能を高い水準で維持した。
• 実証的耐性スコアは、複数の攻撃タイプを網羅的に評価でき、強い攻撃がより良い防御学習を促進することを明らかにした。
• PGD の代わりに FGSM を敵対的データ生成に用いることで、耐性が低下した。これは、攻撃の強度が防御効果に直接的な影響を与えることを確認した。
• アンチコラプス三重項防御は、EST 防御よりも耐性と一般化性能の両面で優れており、すべてのデータセットで R@1、mAP、NMI の向上が見られた。